Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Descrierea dezvoltatorului (engleză)
Ce este Tokenizer?
Tokenizer este un program open source pentru Windows din categoria Asistenți AI și LLM, publicat de Microsoft Corporation. Este scris în C#.
Instalare și cerințe
Există instalatoare oficiale pentru 64 de biți, în format Portabil. Funcționează fără instalare (versiune portabilă).
Popularitate și tipuri de fișiere
Codul sursă de pe GitHub (microsoft/Tokenizer) are 212 stele. Printre programele similare se numără Codex CLI, Claude Code și ChatGPT.
Descrierea proiectului pe GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Avantaje / Dezavantaje
Avantaje
- Open source: codul poate fi verificat și compilat de oricine
- Portabil: rulează fără instalare
Dezavantaje
- Fără versiune nativă ARM64
Pe scurt: Tokenizer este un program open source din categoria Asistenți AI și LLM, disponibil pentru calculatoare cu 64 de biți.
Este sigur să descărcați Tokenizer?
- Fișierul este livrat de github.com, domeniul dezvoltatorului
- Linkul de descărcare folosește HTTPS
- Există un hash SHA256 publicat pentru verificarea fișierului:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Deschideți raportul VirusTotal pentru acest hash - Linkul nu a fost verificat încă
- Codul sursă este public
- ExeAtlas nu găzduiește, nu împachetează și nu modifică instalatoare
Ghid asociat: Cum verificați hash-ul SHA256 al unui fișier în Windows
Versiuni recente
O singură versiune ›| Versiune | Data | Dimensiune | Fișiere |
|---|---|---|---|
| 1.3.3Cea mai nouă | 29 decembrie 2025 | — | 64 de biți ZIP |
Instalare din linia de comandă
Instalare silențioasă ›winget install --id Microsoft.Tokenizer -eGhid asociat: Cum se folosește winget: instalare și actualizare
Informații
- Dezvoltator
- Microsoft Corporation
- Categorie
- Asistenți AI și LLM
- Licență
- MIT
- Preț
- Gratuit
- Cod sursă
- github.com/microsoft/Tokenizer
- Limbaj de programare
- C#
- Cerințe
- Windows 11 / 10
- Arhitectură
- 64 de biți
- Instalator
- Portabil
- Versiune
- 1.3.3
- Data lansării
- 29 decembrie 2025
- Adăugat în catalog
- 29 decembrie 2025
- Versiuni listate
- 1
- Stele pe GitHub
- 212
- Fork-uri pe GitHub
- 36
- Site web
- github.com
- ID winget
- Microsoft.Tokenizer
Evaluări și recenzii
Nicio recenzie încă.
Alternative la Tokenizer
Vezi tot ›-
Open source16,6 K ↓ -
Proprietar67,1 K ↓ -
Open source17,1 K ↓ -
Open source8,7 K ↓ -
Open source3,3 K ↓ -
Open source654 ↓ -
Open source1,9 K ↓ -
Open source14 K ↓
Întrebări frecvente
Este Tokenizer gratuit?
Da. Tokenizer este un software open source cu licența MIT.
Este sigur să descărcați Tokenizer?
Fișierul se descarcă de pe github.com, un domeniu care aparține dezvoltatorului. ExeAtlas nu găzduiește și nu modifică fișierul. Hash-ul SHA256 al fișierului poate fi comparat cu cel afișat aici, iar raportul VirusTotal pentru acel hash poate fi deschis de pe această pagină.
Cum se instalează Tokenizer cu winget?
Deschideți PowerShell sau Windows Terminal și rulați comanda winget afișată pe această pagină. winget descarcă instalatorul oficial și îi verifică hash-ul SHA256 înainte de a-l rula.
Funcționează Tokenizer pe ARM (Windows on Arm)?
Nu există o versiune ARM64; Windows 11 on Arm poate rula versiunea pentru 64 de biți prin emulare.
Se poate folosi Tokenizer fără drepturi de administrator?
Da, este portabil: se dezarhivează și se rulează.
Ce alternative există la Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All și Jan. Pagina de alternative le compară.
