Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Popis od výrobce (angličtina)
Co je Tokenizer?
Tokenizer je program pro Windows s otevřeným zdrojovým kódem z kategorie „AI asistenti a LLM“. Výrobce: Microsoft Corporation. Programovací jazyk: C#.
Instalace a systémové požadavky
Oficiální instalátory jsou k dispozici pro 64bit; typ instalátoru: Přenosná verze. Program funguje bez instalace (přenosná verze).
Oblíbenost a typy souborů
Zdrojový kód na GitHubu (microsoft/Tokenizer) má 212 hvězd. Podobné programy: Codex CLI, Claude Code a ChatGPT.
Popis projektu na GitHubu: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Výhody / Nevýhody
Výhody
- Otevřený zdrojový kód: kdokoli ho může zkontrolovat a sestavit
- Přenosná verze: funguje bez instalace
Nevýhody
- Chybí nativní sestavení ARM64
Ve zkratce: Tokenizer je program pro Windows s otevřeným zdrojovým kódem (kategorie „AI asistenti a LLM“); sestavení: 64bit.
Je stažení programu Tokenizer bezpečné?
- Soubor se stahuje z domény výrobce (github.com)
- Odkaz ke stažení používá HTTPS
- Hash SHA256 je zveřejněn – soubor lze ověřit:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Otevřít zprávu VirusTotal pro tento hash - Odkaz zatím nebyl ověřen
- Otevřený zdrojový kód
- ExeAtlas instalátory neukládá, nebalí ani nemění
Související návod: Jak ve Windows ověřit hash SHA256 souboru
Poslední verze
Všechny verze (1) ›Instalace z příkazového řádku
Tichá instalace ›winget install --id Microsoft.Tokenizer -eSouvisející návod: Jak používat winget: instalace a aktualizace programů
Informace
- Výrobce
- Microsoft Corporation
- Kategorie
- AI asistenti a LLM
- Licence
- MIT
- Cena
- Zdarma
- Zdrojový kód
- github.com/microsoft/Tokenizer
- Programovací jazyk
- C#
- Požadavky
- Windows 11 / 10
- Architektura
- 64bit
- Instalátor
- Přenosná verze
- Verze
- 1.3.3
- Datum vydání
- 29. prosince 2025
- Přidáno do katalogu
- 29. prosince 2025
- Verzí v katalogu
- 1
- Hvězdy na GitHubu
- 212
- Forky na GitHubu
- 36
- Web
- github.com
- ID winget
- Microsoft.Tokenizer
Hodnocení a recenze
Zatím žádné recenze. Hodnocení můžete přidat jako první.
Alternativy k programu Tokenizer
Zobrazit vše ›-
Open source16,6 tis. ↓ -
Proprietární67,1 tis. ↓ -
Open source17,1 tis. ↓ -
Open source8,7 tis. ↓ -
Open source3,3 tis. ↓ -
Open source654 ↓ -
Open source1,9 tis. ↓ -
Open source14 tis. ↓
Časté otázky
Je program Tokenizer zdarma?
Ano. Tokenizer je program s otevřeným zdrojovým kódem (licence MIT); stažení i používání je zdarma.
Je stažení programu Tokenizer bezpečné?
Soubor se stahuje z github.com – tato doména patří výrobci; ExeAtlas soubor neukládá ani nemění. Porovnejte SHA256 staženého souboru s hodnotou na této stránce nebo otevřete zprávu VirusTotal pro tento hash.
Jak nainstalovat Tokenizer přes winget?
Otevřete PowerShell nebo Windows Terminal a spusťte příkaz winget z této stránky. winget stáhne oficiální instalátor a před spuštěním ověří jeho hash SHA256.
Funguje Tokenizer na ARM (Windows on Arm)?
Sestavení ARM64 neexistuje; Windows 11 on Arm může verzi 64bit spustit pomocí emulace.
Lze program Tokenizer používat bez oprávnění správce?
Ano, jde o přenosnou verzi: stačí ji rozbalit a spustit.
Jaké jsou alternativy k programu Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All a Jan. Srovnání najdete na stránce alternativ.
