Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Väljaandja kirjeldus (inglise)
Mis on Tokenizer?
Tokenizer on avatud lähtekoodiga Windowsi programm kategooriast „TI-assistendid ja keelemudelid“. Väljaandja: Microsoft Corporation. Programmeerimiskeel: C#.
Paigaldamine ja nõuded
Ametlikud paigaldusfailid on olemas järgmistele arhitektuuridele: 64-bitine; vorming Portatiivne. Programm töötab ilma paigaldamata (portatiivne).
Populaarsus ja failitüübid
Lähtekoodil GitHubis (microsoft/Tokenizer) on 212 tähte. Sarnased programmid on näiteks Codex CLI, Claude Code ja ChatGPT.
Projekti kirjeldus GitHubis: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Plussid / Miinused
Plussid
- Avatud lähtekood: koodi saab igaüks üle vaadata ja ise kompileerida
- Portatiivne: töötab ilma paigaldamata
Miinused
- Natiivne ARM64-versioon puudub
Kokkuvõttes: Tokenizer on avatud lähtekoodiga Windowsi tööriist kategooriast „TI-assistendid ja keelemudelid“ (64-bitine).
Kas programmi Tokenizer allalaadimine on ohutu?
- Faili jagab github.com, väljaandja enda domeen
- Allalaadimislink kasutab HTTPS-i
- SHA256-räsi on avaldatud, nii et faili saab kontrollida:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Ava selle räsi VirusTotali aruanne - Linki pole veel kontrollitud
- Lähtekood on avalik
- ExeAtlas ei majuta, ümbrista ega muuda paigaldusfaile
Seotud juhend: Kuidas kontrollida faili SHA256-räsi Windowsis
Viimased versioonid
Ainus versioon ›| Versioon | Kuupäev | Suurus | Failid |
|---|---|---|---|
| 1.3.3Uusim | 29. detsember 2025 | — | 64-bitine ZIP |
Paigaldamine käsurealt
Vaikne paigaldus ›winget install --id Microsoft.Tokenizer -eSeotud juhend: Kuidas kasutada wingetit: paigaldus ja uuendamine
Teave
- Väljaandja
- Microsoft Corporation
- Kategooria
- TI-assistendid ja keelemudelid
- Litsents
- MIT
- Hind
- Tasuta
- Lähtekood
- github.com/microsoft/Tokenizer
- Programmeerimiskeel
- C#
- Nõuded
- Windows 11 / 10
- Arhitektuur
- 64-bitine
- Paigaldaja
- Portatiivne
- Versioon
- 1.3.3
- Avaldatud
- 29. detsember 2025
- Lisatud kataloogi
- 29. detsember 2025
- Versioone kataloogis
- 1
- GitHubi tähed
- 212
- GitHubi harud (forks)
- 36
- Veebileht
- github.com
- winget ID
- Microsoft.Tokenizer
Hinnangud ja arvustused
Arvustusi veel pole. Hinda esimesena.
Programmi Tokenizer alternatiivid
Vaata kõiki ›-
Avatud lähtekood16,6 tuh ↓ -
Suletud lähtekood67,1 tuh ↓ -
Avatud lähtekood17,1 tuh ↓ -
Avatud lähtekood8,7 tuh ↓ -
Avatud lähtekood3,3 tuh ↓ -
Avatud lähtekood654 ↓ -
Avatud lähtekood1,9 tuh ↓ -
Avatud lähtekood14 tuh ↓
Korduma kippuvad küsimused
Kas Tokenizer on tasuta?
Jah. Tokenizer on avatud lähtekoodiga tarkvara (litsents MIT).
Kas programmi Tokenizer allalaadimine on ohutu?
Fail laaditakse alla aadressilt github.com, mis kuulub väljaandjale; ExeAtlas faili ei majuta ega muuda. Võrdle faili SHA256-räsi siin näidatuga või ava selle räsi VirusTotali aruanne.
Kuidas paigaldada programmi Tokenizer wingetiga?
Ava PowerShell või Windows Terminal ja käivita sellel lehel näidatud winget-käsk. winget laadib alla ametliku paigaldusfaili ja kontrollib enne käivitamist selle SHA256-räsi.
Kas Tokenizer töötab ARM-protsessoriga (Windows on Arm)?
ARM64-versiooni pole; Windows 11 on Arm saab 64-bitine versiooni käivitada emulatsiooni abil.
Kas programmi Tokenizer saab kasutada ilma administraatori õigusteta?
Jah, see on portatiivne: paki lahti ja käivita.
Millised on programmi Tokenizer alternatiivid?
Codex CLI, Claude Code, ChatGPT, GPT4All ja Jan. Alternatiivide leht võrdleb neid.
