Seznam zajema 1 različico programa Tokenizer, od 29. december 2025 do trenutne 1.3.3. Vsaka vodi do namestitvenih datotek na strežniku izdajatelja.
| Različica | Datum | Velikost | Datoteke |
|---|---|---|---|
| 1.3.3Najnovejša | 29. december 2025 | — | 64-bitno ZIP |
Tokenizer: starejše različice za prenos
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LicencaOdprta koda
- Različica1.3.3
- ZahteveWindows 10, 11
- Izdano29. december 2025
- Zvezdice na GitHubu★ 212
Najbolj priljubljeno v kategoriji „Pomočniki UI in LLM“
Prikaži vse-
Claude CodePomočniki UI in LLM · Anthropic PBC -
Codex CLIPomočniki UI in LLM · OpenAI, Inc. -
ChatGPTPomočniki UI in LLM · lencx -
GPT4AllPomočniki UI in LLM · Nomic -
JanPomočniki UI in LLM · Jan -
WSL ManagerPomočniki UI in LLM · Bostrot -
oh-my-piPomočniki UI in LLM · Can Bölük -
T3 CodePomočniki UI in LLM · T3 Tools -
CC SwitchPomočniki UI in LLM · farion1231 -
LobeHubPomočniki UI in LLM · LobeHub
Več programov izdajatelja Microsoft Corporation
Prikaži vse
PowerShellTerminali in ukazna orodja · Microsoft Corporation
PowerToysPrilagajanje · Microsoft Corporation
NuGetUpravitelji paketov in posodabljanje · Microsoft Corporation
Microsoft Azure CLITerminali in ukazna orodja · Microsoft Corporation
OpenSSH PreviewFTP in prenos datotek · Microsoft Corporation
Bicep CLIJeziki in SDK · Microsoft Corporation