Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Popis od výrobcu (angličtina)
Čo je Tokenizer?
Tokenizer je program pre Windows s otvoreným zdrojovým kódom z kategórie „AI asistenti a LLM“. Výrobca: Microsoft Corporation. Programovací jazyk: C#.
Inštalácia a systémové požiadavky
Oficiálne inštalátory sú k dispozícii pre 64-bit; typ inštalátora: Prenosná verzia. Program funguje bez inštalácie (prenosná verzia).
Obľúbenosť a typy súborov
Zdrojový kód na GitHube (microsoft/Tokenizer) má 212 hviezdičiek. Podobné programy: Codex CLI, Claude Code a ChatGPT.
Popis projektu na GitHube: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Výhody / Nevýhody
Výhody
- Otvorený zdrojový kód: ktokoľvek ho môže skontrolovať a zostaviť
- Prenosná verzia: funguje bez inštalácie
Nevýhody
- Chýba natívne zostavenie ARM64
V skratke: Tokenizer je program pre Windows s otvoreným zdrojovým kódom (kategória „AI asistenti a LLM“); zostavenia: 64-bit.
Je stiahnutie programu Tokenizer bezpečné?
- Súbor sa sťahuje z domény výrobcu (github.com)
- Odkaz na stiahnutie používa HTTPS
- Hash SHA256 je zverejnený – súbor sa dá overiť:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Otvoriť správu VirusTotal pre tento hash - Odkaz zatiaľ nebol overený
- Otvorený zdrojový kód
- ExeAtlas inštalátory neukladá, nebalí ani nemení
Súvisiaci návod: Ako vo Windows overiť hash SHA256 súboru
Posledné verzie
Všetky verzie (1) ›| Verzia | Dátum | Veľkosť | Súbory |
|---|---|---|---|
| 1.3.3Najnovšia | 29. decembra 2025 | — | 64-bit ZIP |
Inštalácia z príkazového riadka
Tichá inštalácia ›winget install --id Microsoft.Tokenizer -eSúvisiaci návod: Ako používať winget: inštalácia a aktualizácia programov
Informácie
- Výrobca
- Microsoft Corporation
- Kategória
- AI asistenti a LLM
- Licencia
- MIT
- Cena
- Zadarmo
- Zdrojový kód
- github.com/microsoft/Tokenizer
- Programovací jazyk
- C#
- Požiadavky
- Windows 11 / 10
- Architektúra
- 64-bit
- Inštalátor
- Prenosná verzia
- Verzia
- 1.3.3
- Dátum vydania
- 29. decembra 2025
- Pridané do katalógu
- 29. decembra 2025
- Verzií v katalógu
- 1
- Hviezdičky na GitHube
- 212
- Forky na GitHube
- 36
- Web
- github.com
- ID winget
- Microsoft.Tokenizer
Hodnotenia a recenzie
Zatiaľ žiadne recenzie. Hodnotenie môžete pridať ako prví.
Alternatívy k programu Tokenizer
Zobraziť všetko ›-
Open source16,6 tis. ↓ -
Proprietárna67,1 tis. ↓ -
Open source17,1 tis. ↓ -
Open source8,7 tis. ↓ -
Open source3,3 tis. ↓ -
Open source654 ↓ -
Open source1,9 tis. ↓ -
Open source14 tis. ↓
Časté otázky
Je program Tokenizer zadarmo?
Áno. Tokenizer je program s otvoreným zdrojovým kódom (licencia MIT); stiahnutie aj používanie je zadarmo.
Je stiahnutie programu Tokenizer bezpečné?
Súbor sa sťahuje z github.com – táto doména patrí výrobcovi; ExeAtlas súbor neukladá ani nemení. Porovnajte SHA256 stiahnutého súboru s hodnotou na tejto stránke alebo otvorte správu VirusTotal pre tento hash.
Ako nainštalovať Tokenizer cez winget?
Otvorte PowerShell alebo Windows Terminal a spustite príkaz winget z tejto stránky. winget stiahne oficiálny inštalátor a pred spustením overí jeho hash SHA256.
Funguje Tokenizer na ARM (Windows on Arm)?
Zostavenie ARM64 neexistuje; Windows 11 on Arm dokáže verziu 64-bit spustiť pomocou emulácie.
Dá sa program Tokenizer používať bez oprávnení správcu?
Áno, ide o prenosnú verziu: stačí ju rozbaliť a spustiť.
Aké sú alternatívy k programu Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All a Jan. Porovnanie nájdete na stránke alternatív.
