Zoznam obsahuje 1 verziu programu Tokenizer – od 29. decembra 2025 po aktuálnu verziu 1.3.3. Každá verzia vedie na inštalátory zo servera výrobcu.
| Verzia | Dátum | Veľkosť | Súbory |
|---|---|---|---|
| 1.3.3Najnovšia | 29. decembra 2025 | — | 64-bit ZIP |
Tokenizer: staršie verzie na stiahnutie
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LicenciaOpen source
- Verzia1.3.3
- PožiadavkyWindows 10, 11
- Dátum vydania29. decembra 2025
- Hviezdičky na GitHube★ 212
Najobľúbenejšie v kategórii „AI asistenti a LLM“
Zobraziť všetko-
Claude CodeAI asistenti a LLM · Anthropic PBC -
Codex CLIAI asistenti a LLM · OpenAI, Inc. -
ChatGPTAI asistenti a LLM · lencx -
GPT4AllAI asistenti a LLM · Nomic -
JanAI asistenti a LLM · Jan -
WSL ManagerAI asistenti a LLM · Bostrot -
oh-my-piAI asistenti a LLM · Can Bölük -
T3 CodeAI asistenti a LLM · T3 Tools -
CC SwitchAI asistenti a LLM · farion1231 -
LobeHubAI asistenti a LLM · LobeHub
Ďalšie programy od výrobcu Microsoft Corporation
Zobraziť všetko
PowerShellTerminály a príkazový riadok · Microsoft Corporation
PowerToysVzhľad systému · Microsoft Corporation
NuGetSprávcovia balíkov a aktualizácií · Microsoft Corporation
Microsoft Azure CLITerminály a príkazový riadok · Microsoft Corporation
OpenSSH PreviewFTP klienti a prenos súborov · Microsoft Corporation
Bicep CLIJazyky a SDK · Microsoft Corporation