Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Opis izdavača (engleski)
Šta je Tokenizer?
Tokenizer je program za Windows otvorenog koda iz kategorije „AI asistenti i LLM“. Izdavač je Microsoft Corporation. Programski jezik: C#.
Instalacija i sistemski zahtevi
Zvanični instalacioni fajlovi postoje za 64-bit, u formatu Portabl verzija. Program radi bez instalacije (portabl verzija).
Popularnost i tipovi fajlova
Izvorni kod na GitHubu (microsoft/Tokenizer) ima 212 zvezdica. Slični programi: Codex CLI, Claude Code i ChatGPT.
Opis projekta na GitHubu: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Prednosti / Nedostaci
Prednosti
- Otvoreni kod: svako ga može pregledati i sam kompajlirati
- Portabl verzija: radi bez instalacije
Nedostaci
- Nema izvorne ARM64 verzije
Ukratko: Tokenizer je program za Windows otvorenog koda (kategorija „AI asistenti i LLM“), dostupan za 64-bit.
Da li je preuzimanje programa Tokenizer bezbedno?
- Fajl se preuzima sa domena izdavača (github.com)
- Link za preuzimanje koristi HTTPS
- Objavljen je SHA256 heš, pa se fajl može proveriti:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Otvori VirusTotal izveštaj za ovaj heš - Link još nije proveren
- Izvorni kod je javan
- ExeAtlas ne čuva, ne pakuje u omotače i ne menja instalacione fajlove
Povezano uputstvo: Kako proveriti SHA256 heš fajla na Windowsu
Najnovije verzije
Sve verzije (1) ›| Verzija | Datum | Veličina | Fajlovi |
|---|---|---|---|
| 1.3.3Najnovija | 29. decembar 2025. | — | 64-bit ZIP |
Instalacija iz komandne linije
Tiha instalacija ›winget install --id Microsoft.Tokenizer -ePovezano uputstvo: Kako koristiti winget: instalacija i ažuriranje
Informacije
- Izdavač
- Microsoft Corporation
- Kategorija
- AI asistenti i LLM
- Licenca
- MIT
- Cena
- Besplatno
- Izvorni kod
- github.com/microsoft/Tokenizer
- Programski jezik
- C#
- Zahtevi
- Windows 11 / 10
- Arhitektura
- 64-bit
- Instalacioni fajl
- Portabl verzija
- Verzija
- 1.3.3
- Objavljeno
- 29. decembar 2025.
- Dodato u katalog
- 29. decembar 2025.
- Broj verzija
- 1
- Zvezdice na GitHubu
- 212
- Forkovi na GitHubu
- 36
- Veb-sajt
- github.com
- winget ID
- Microsoft.Tokenizer
Ocene i recenzije
Još nema recenzija. Ocenu možete ostaviti prvi.
Alternative za program Tokenizer
Prikaži sve ›-
Otvoreni kod16,6 hilj. ↓ -
Vlasnička licenca67,1 hilj. ↓ -
Otvoreni kod17,1 hilj. ↓ -
Otvoreni kod8,7 hilj. ↓ -
Otvoreni kod3,3 hilj. ↓ -
Otvoreni kod654 ↓ -
Otvoreni kod1,9 hilj. ↓ -
Otvoreni kod14 hilj. ↓
Česta pitanja
Da li je program Tokenizer besplatan?
Da. Tokenizer je program otvorenog koda (licenca MIT) i može se besplatno preuzeti i koristiti.
Da li je preuzimanje programa Tokenizer bezbedno?
Fajl se preuzima sa domena github.com, koji pripada izdavaču; ExeAtlas fajl ne čuva i ne menja. Uporedite SHA256 heš preuzetog fajla sa onim na ovoj stranici ili otvorite VirusTotal izveštaj za taj heš.
Kako instalirati Tokenizer preko wingeta?
Otvorite PowerShell ili Windows Terminal i pokrenite winget komandu sa ove stranice. winget preuzima zvanični instalacioni fajl i pre pokretanja proverava njegov SHA256 heš.
Da li Tokenizer radi na ARM procesorima (Windows on Arm)?
ARM64 verzija ne postoji; Windows 11 on Arm može da pokrene verziju 64-bit putem emulacije.
Može li se program Tokenizer koristiti bez administratorskih prava?
Da, to je portabl verzija: dovoljno je raspakovati arhivu i pokrenuti program.
Koje su alternative za program Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All i Jan. Poređenje se nalazi na stranici sa alternativama.
