Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Maelezo ya mchapishaji (Kiingereza)
Tokenizer ni nini?
Tokenizer ni programu ya chanzo huria ya Windows kutoka Microsoft Corporation, katika kategoria ya “Wasaidizi wa AI na LLM”. Imeandikwa kwa C#.
Usakinishaji na mahitaji
Kuna visakinishi rasmi kwa 64-bit katika muundo wa Portable. Inafanya kazi bila kusakinishwa (portable).
Umaarufu na aina za faili
Msimbo chanzo kwenye GitHub (microsoft/Tokenizer) una nyota 212. Programu zinazofanana ni pamoja na Codex CLI, Claude Code na ChatGPT.
Maelezo ya mradi kwenye GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Faida / Hasara
Faida
- Chanzo huria: mtu yeyote anaweza kukagua na kujenga msimbo
- Portable: inafanya kazi bila kusakinishwa
Hasara
- Hakuna toleo asili la ARM64
Kwa ufupi: Tokenizer ni zana ya chanzo huria ya kundi la “Wasaidizi wa AI na LLM” kwa kompyuta za 64-bit.
Je, ni salama kupakua Tokenizer?
- Faili inatolewa na github.com, kikoa cha mchapishaji mwenyewe
- Kiungo cha kupakua kinatumia HTTPS
- Hashi ya SHA256 imechapishwa, hivyo unaweza kuthibitisha faili:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Fungua ripoti ya VirusTotal ya hashi hii - Kiungo bado hakijakaguliwa
- Msimbo chanzo uko wazi kwa umma
- ExeAtlas haihifadhi, haifungi wala haibadilishi visakinishi
Mwongozo unaohusiana: Jinsi ya kukagua hashi ya SHA256 ya faili kwenye Windows
Matoleo ya karibuni
Toleo 1 ›| Toleo | Tarehe | Ukubwa | Faili |
|---|---|---|---|
| 1.3.3Jipya zaidi | 29 Desemba 2025 | — | 64-bit ZIP |
Kusakinisha kwa mstari wa amri
Usakinishaji kimya ›winget install --id Microsoft.Tokenizer -eMwongozo unaohusiana: Jinsi ya kutumia winget: sakinisha na sasisha programu
Taarifa
- Mchapishaji
- Microsoft Corporation
- Kategoria
- Wasaidizi wa AI na LLM
- Leseni
- MIT
- Bei
- Bure
- Msimbo chanzo
- github.com/microsoft/Tokenizer
- Imeandikwa kwa
- C#
- Inahitaji
- Windows 11 / 10
- Usanifu
- 64-bit
- Kisakinishi
- Portable
- Toleo
- 1.3.3
- Ilitolewa
- 29 Desemba 2025
- Iliongezwa kwenye orodha
- 29 Desemba 2025
- Matoleo yaliyoorodheshwa
- 1
- Nyota za GitHub
- 212
- Forks za GitHub
- 36
- Tovuti
- github.com
- Kitambulisho cha winget
- Microsoft.Tokenizer
Ukadiriaji na maoni
Bado hakuna maoni. Kuwa wa kwanza kuikadiria.
Mbadala wa Tokenizer
Ona zote ›-
Chanzo huriaelfu 16.6 ↓ -
Ya umilikielfu 67.1 ↓ -
Chanzo huriaelfu 17.1 ↓ -
Chanzo huriaelfu 8.7 ↓ -
Chanzo huriaelfu 3.3 ↓ -
Chanzo huria654 ↓ -
Chanzo huriaelfu 1.9 ↓ -
Chanzo huriaelfu 14 ↓
Maswali yanayoulizwa mara kwa mara
Je, Tokenizer ni bure?
Ndiyo. Tokenizer ni programu ya chanzo huria chini ya leseni ya MIT.
Je, ni salama kupakua Tokenizer?
Faili inapakuliwa kutoka github.com, ambayo ni ya mchapishaji mwenyewe; ExeAtlas haihifadhi wala haibadilishi faili. Linganisha hashi yake ya SHA256 na ile iliyoonyeshwa hapa, au fungua ripoti ya VirusTotal ya hashi hiyo.
Jinsi ya kusakinisha Tokenizer kwa winget?
Fungua PowerShell au Windows Terminal na uendeshe amri ya winget iliyoonyeshwa kwenye ukurasa huu. winget hupakua kisakinishi rasmi na kukagua hashi yake ya SHA256 kabla ya kukiendesha.
Je, Tokenizer inafanya kazi kwenye ARM (Windows on Arm)?
Hakuna toleo la ARM64; Windows 11 on Arm inaweza kuendesha toleo la 64-bit kupitia uigaji (emulation).
Je, Tokenizer inaweza kutumika bila haki za msimamizi?
Ndiyo, ni portable: fungua kumbukumbu (archive) na uiendeshe.
Ni programu gani mbadala wa Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All na Jan. Ukurasa wa mbadala unazilinganisha.
