Seznam obsahuje 1 verzi programu Tokenizer – od 29. prosince 2025 po aktuální verzi 1.3.3. Každá verze vede na instalátory ze serveru výrobce.
Tokenizer: starší verze ke stažení
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LicenceOpen source
- Verze1.3.3
- PožadavkyWindows 10, 11
- Datum vydání29. prosince 2025
- Hvězdy na GitHubu★ 212
Nejoblíbenější v kategorii „AI asistenti a LLM“
Zobrazit vše-
Claude CodeAI asistenti a LLM · Anthropic PBC -
Codex CLIAI asistenti a LLM · OpenAI, Inc. -
ChatGPTAI asistenti a LLM · lencx -
GPT4AllAI asistenti a LLM · Nomic -
JanAI asistenti a LLM · Jan -
WSL ManagerAI asistenti a LLM · Bostrot -
oh-my-piAI asistenti a LLM · Can Bölük -
T3 CodeAI asistenti a LLM · T3 Tools -
CC SwitchAI asistenti a LLM · farion1231 -
LobeHubAI asistenti a LLM · LobeHub
Další programy od výrobce Microsoft Corporation
Zobrazit vše
PowerShellTerminály a příkazový řádek · Microsoft Corporation
PowerToysVzhled systému · Microsoft Corporation
NuGetSprávci balíčků a aktualizací · Microsoft Corporation
Microsoft Azure CLITerminály a příkazový řádek · Microsoft Corporation
OpenSSH PreviewFTP klienti a přenos souborů · Microsoft Corporation
Bicep CLIJazyky a SDK · Microsoft Corporation