Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
የአሳታሚው መግለጫ (እንግሊዝኛ)
Tokenizer ምንድነው?
Tokenizer በMicrosoft Corporation የሚታተም ክፍት ምንጭ የWindows ፕሮግራም ነው፤ “የAI ረዳቶች እና LLM” በሚለው ምድብ ውስጥ ይገኛል። የተጻፈው በC# ነው።
መጫን እና የሚያስፈልጉ ነገሮች
ለ64-bit ይፋዊ ጫኚዎች በተንቀሳቃሽ (portable) ቅርጸት አሉ። ሳይጫን ይሠራል (portable)።
ተወዳጅነት እና የፋይል አይነቶች
በGitHub ላይ ያለው የምንጭ ኮድ (microsoft/Tokenizer) 212 ኮከቦች አሉት። ተመሳሳይ ፕሮግራሞች Codex CLI፣ Claude Code እና ChatGPT ናቸው።
በGitHub ላይ ያለው የፕሮጀክቱ መግለጫ: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
ጥቅሞች / ጉዳቶች
ጥቅሞች
- ክፍት ምንጭ፦ ማንኛውም ሰው ኮዱን መመርመር እና መገንባት ይችላል
- ተንቀሳቃሽ (portable)፦ ሳይጫን ይሠራል
ጉዳቶች
- የራሱ የARM64 ስሪት የለም
በአጭሩ: Tokenizer ለ64-bit ኮምፒውተሮች የተሠራ ክፍት ምንጭ የWindows መሣሪያ ነው፤ ምድቡ “የAI ረዳቶች እና LLM” ነው።
Tokenizerን ማውረድ ደህንነቱ የተጠበቀ ነው?
- ፋይሉ የሚቀርበው ከgithub.com ነው፤ ይህ የአሳታሚው የራሱ ጎራ ነው
- የማውረጃ አገናኙ HTTPS ይጠቀማል
- የSHA256 ሃሽ ታትሟል፤ ስለዚህ ፋይሉን ማረጋገጥ ይችላሉ:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· ለዚህ ሃሽ የVirusTotal ሪፖርቱን ይክፈቱ - አገናኙ ገና አልተረጋገጠም
- የምንጭ ኮዱ ለሕዝብ ክፍት ነው
- ExeAtlas ጫኚዎችን አያስተናግድም፣ አይጠቀልልም፣ አይቀይርም
ተዛማጅ መመሪያ: የፋይልን SHA256 ሃሽ በWindows ላይ እንዴት ማረጋገጥ ይቻላል
የቅርብ ጊዜ ስሪቶች
1 ስሪት ›| ስሪት | ቀን | መጠን | ፋይሎች |
|---|---|---|---|
| 1.3.3የቅርብ ጊዜ | 29 ዲሴምበር 2025 | — | 64-bit ZIP |
ከትዕዛዝ መስመር ይጫኑ
ጸጥ ያለ ጭነት ›winget install --id Microsoft.Tokenizer -eተዛማጅ መመሪያ: winget እንዴት እንደሚጠቀሙ፦ ፕሮግራሞችን መጫን እና ማዘመን
መረጃ
- አሳታሚ
- Microsoft Corporation
- ምድብ
- የAI ረዳቶች እና LLM
- ፈቃድ
- MIT
- ዋጋ
- ነፃ
- የምንጭ ኮድ
- github.com/microsoft/Tokenizer
- የተጻፈበት ቋንቋ
- C#
- የሚያስፈልገው
- Windows 11 / 10
- አርክቴክቸር
- 64-bit
- ጫኚ
- ተንቀሳቃሽ (portable)
- ስሪት
- 1.3.3
- የተለቀቀበት
- 29 ዲሴምበር 2025
- ወደ ካታሎጉ የተጨመረበት
- 29 ዲሴምበር 2025
- የተዘረዘሩ ስሪቶች
- 1
- የGitHub ኮከቦች
- 212
- የGitHub ፎርኮች
- 36
- ድረ-ገጽ
- github.com
- የwinget መታወቂያ
- Microsoft.Tokenizer
ደረጃዎች እና ግምገማዎች
እስካሁን ምንም ግምገማ የለም። ደረጃ የሚሰጡ የመጀመሪያው ይሁኑ።
የTokenizer አማራጮች
ሁሉንም ይመልከቱ ›-
ክፍት ምንጭ16.6 ሺ ↓ -
የባለቤትነት67.1 ሺ ↓ -
ክፍት ምንጭ17.1 ሺ ↓ -
ክፍት ምንጭ8.7 ሺ ↓ -
ክፍት ምንጭ3.3 ሺ ↓ -
ክፍት ምንጭ654 ↓ -
ክፍት ምንጭ1.9 ሺ ↓ -
ክፍት ምንጭ14 ሺ ↓
ተደጋግመው የሚጠየቁ ጥያቄዎች
Tokenizer ነፃ ነው?
አዎ። Tokenizer በMIT ፈቃድ የሚሰራጭ የክፍት ምንጭ ሶፍትዌር ነው።
Tokenizerን ማውረድ ደህንነቱ የተጠበቀ ነው?
ፋይሉ የሚወርደው ከgithub.com ነው፤ ይህም የአሳታሚው የራሱ አገልጋይ ነው፤ ExeAtlas ፋይሉን አያስተናግድም፣ አይቀይርምም። የSHA256 ሃሹን እዚህ ከሚታየው ጋር ያነጻጽሩ፣ ወይም ለዚያ ሃሽ የVirusTotal ሪፖርቱን ይክፈቱ።
Tokenizerን በwinget እንዴት መጫን ይቻላል?
PowerShell ወይም Windows Terminal ይክፈቱ እና በዚህ ገጽ ላይ የሚታየውን የwinget ትዕዛዝ ያስኪዱ። winget ይፋዊውን ጫኚ ያወርዳል፣ ከማስኬዱም በፊት የSHA256 ሃሹን ያረጋግጣል።
Tokenizer በARM (Windows on Arm) ላይ ይሠራል?
የARM64 ስሪት የለም፤ Windows 11 on Arm የ64-bit ስሪቱን በኢምዩሌሽን ማስኬድ ይችላል።
Tokenizerን ያለ አስተዳዳሪ መብቶች መጠቀም ይቻላል?
አዎ፤ ተንቀሳቃሽ (portable) ነው፦ ይፍቱት እና ያስኪዱት።
የTokenizer አማራጮች ምንድን ናቸው?
Codex CLI፣ Claude Code፣ ChatGPT፣ GPT4All እና Jan። የአማራጮች ገጹ ያነጻጽራቸዋል።
