Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Opis izdavača (engleski)
Što je Tokenizer?
Tokenizer je program otvorenog koda za Windows iz kategorije „AI asistenti i LLM”. Izdavač je Microsoft Corporation. Programski jezik: C#.
Instalacija i zahtjevi sustava
Službene instalacijske datoteke postoje za 64-bitno, u obliku Prijenosna verzija. Program radi bez instalacije (prijenosna verzija).
Popularnost i vrste datoteka
Izvorni kod na GitHubu (microsoft/Tokenizer) ima 212 zvjezdica. Slični programi: Codex CLI, Claude Code i ChatGPT.
Opis projekta na GitHubu: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Prednosti / Nedostaci
Prednosti
- Otvoreni kod: svatko ga može pregledati i sam prevesti
- Prijenosna verzija: radi bez instalacije
Nedostaci
- Nema izvorne verzije ARM64
Ukratko: Tokenizer je program otvorenog koda za Windows (kategorija „AI asistenti i LLM”), dostupan za 64-bitno.
Je li preuzimanje programa Tokenizer sigurno?
- Datoteka se preuzima s domene izdavača (github.com)
- Poveznica za preuzimanje koristi HTTPS
- Objavljen je hash SHA256, pa se datoteka može provjeriti:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Otvori izvješće VirusTotala za ovaj hash - Poveznica još nije provjerena
- Izvorni kod je javan
- ExeAtlas ne pohranjuje, ne omata i ne mijenja instalacijske datoteke
Povezani vodič: Kako provjeriti SHA256 hash datoteke u Windowsu
Najnovije verzije
Sve verzije (1) ›| Verzija | Datum | Veličina | Datoteke |
|---|---|---|---|
| 1.3.3Najnovija | 29. prosinca 2025. | — | 64-bitno ZIP |
Instalacija iz naredbenog retka
Tiha instalacija ›winget install --id Microsoft.Tokenizer -ePovezani vodič: Kako koristiti winget: instalacija i ažuriranje
Informacije
- Izdavač
- Microsoft Corporation
- Kategorija
- AI asistenti i LLM
- Licenca
- MIT
- Cijena
- Besplatno
- Izvorni kod
- github.com/microsoft/Tokenizer
- Programski jezik
- C#
- Zahtjevi
- Windows 11 / 10
- Arhitektura
- 64-bitno
- Instalacijska datoteka
- Prijenosna verzija
- Verzija
- 1.3.3
- Objavljeno
- 29. prosinca 2025.
- Dodano u katalog
- 29. prosinca 2025.
- Broj verzija
- 1
- Zvjezdice na GitHubu
- 212
- Forkovi na GitHubu
- 36
- Web-stranica
- github.com
- ID za winget
- Microsoft.Tokenizer
Ocjene i recenzije
Još nema recenzija. Program možete ocijeniti prvi.
Alternative za program Tokenizer
Prikaži sve ›-
Otvoreni kod16,6 tis. ↓ -
Vlasnička licenca67,1 tis. ↓ -
Otvoreni kod17,1 tis. ↓ -
Otvoreni kod8,7 tis. ↓ -
Otvoreni kod3,3 tis. ↓ -
Otvoreni kod654 ↓ -
Otvoreni kod1,9 tis. ↓ -
Otvoreni kod14 tis. ↓
Česta pitanja
Je li program Tokenizer besplatan?
Da. Tokenizer je program otvorenog koda (licenca MIT) koji se može besplatno preuzeti i koristiti.
Je li preuzimanje programa Tokenizer sigurno?
Datoteka se preuzima s domene github.com, koja pripada izdavaču; ExeAtlas datoteku ne pohranjuje i ne mijenja. Hash SHA256 preuzete datoteke usporedite s onim na ovoj stranici ili otvorite izvješće VirusTotala za taj hash.
Kako instalirati Tokenizer pomoću wingeta?
Otvorite PowerShell ili Windows Terminal i pokrenite naredbu winget s ove stranice. winget preuzima službenu instalacijsku datoteku i prije pokretanja provjerava njezin hash SHA256.
Radi li Tokenizer na procesorima ARM (Windows on Arm)?
Verzija ARM64 ne postoji; Windows 11 on Arm može verziju 64-bitno pokrenuti emulacijom.
Može li se program Tokenizer koristiti bez administratorskih prava?
Da, riječ je o prijenosnoj verziji: dovoljno je raspakirati arhivu i pokrenuti program.
Koje su alternative za program Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All i Jan. Usporedba je na stranici s alternativama.
