Siin on programmi Tokenizer 1 versioon: esimene avaldatud 29. detsember 2025, praegune versioon on 1.3.3. Iga versioon viitab väljaandja enda paigaldusfailidele.
| Versioon | Kuupäev | Suurus | Failid |
|---|---|---|---|
| 1.3.3Uusim | 29. detsember 2025 | — | 64-bitine ZIP |
Tokenizer: vanemad versioonid ja kogu ajalugu
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LitsentsAvatud lähtekood
- Versioon1.3.3
- NõudedWindows 10, 11
- Avaldatud29. detsember 2025
- GitHubi tähed★ 212
Populaarseim: TI-assistendid ja keelemudelid
Vaata kõiki-
Claude CodeTI-assistendid ja keelemudelid · Anthropic PBC -
Codex CLITI-assistendid ja keelemudelid · OpenAI, Inc. -
ChatGPT by lencxTI-assistendid ja keelemudelid · lencx -
GPT4AllTI-assistendid ja keelemudelid · Nomic -
JanTI-assistendid ja keelemudelid · Jan -
oh-my-piTI-assistendid ja keelemudelid · Can Bölük -
T3 CodeTI-assistendid ja keelemudelid · T3 Tools -
WSL ManagerTI-assistendid ja keelemudelid · Bostrot -
CC SwitchTI-assistendid ja keelemudelid · farion1231 -
LobeHubTI-assistendid ja keelemudelid · LobeHub
Veel väljaandjalt Microsoft Corporation
Vaata kõiki
PowerShellTerminalid ja käsurida · Microsoft Corporation
PowerToysKohandamine · Microsoft Corporation
NuGetPaketihaldurid ja uuendajad · Microsoft Corporation
Microsoft Azure CLITerminalid ja käsurida · Microsoft Corporation
OpenSSH PreviewFTP ja failiedastus · Microsoft Corporation
Bicep CLIKeeled ja SDK-d · Microsoft Corporation