Hapa yameorodheshwa matoleo 1 ya Tokenizer, kuanzia 29 Desemba 2025 hadi toleo la sasa 1.3.3. Kila moja lina kiungo cha faili za kisakinishi za mchapishaji mwenyewe.
| Toleo | Tarehe | Ukubwa | Faili |
|---|---|---|---|
| 1.3.3Toleo jipya zaidi | 29 Desemba 2025 | — | 64-bit ZIP |
Tokenizer: matoleo yote na matoleo ya zamani
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LeseniChanzo huria
- Toleo1.3.3
- InahitajiWindows 10, 11
- Ilitolewa29 Desemba 2025
- Nyota za GitHub★ 212
Maarufu zaidi katika Wasaidizi wa AI na LLM
Ona zote-
Claude CodeWasaidizi wa AI na LLM · Anthropic PBC -
Codex CLIWasaidizi wa AI na LLM · OpenAI, Inc. -
ChatGPTWasaidizi wa AI na LLM · lencx -
GPT4AllWasaidizi wa AI na LLM · Nomic -
JanWasaidizi wa AI na LLM · Jan -
WSL ManagerWasaidizi wa AI na LLM · Bostrot -
oh-my-piWasaidizi wa AI na LLM · Can Bölük -
T3 CodeWasaidizi wa AI na LLM · T3 Tools -
CC SwitchWasaidizi wa AI na LLM · farion1231 -
LobeHubWasaidizi wa AI na LLM · LobeHub
Zaidi kutoka Microsoft Corporation
Ona zote
PowerShellTerminali na zana za CLI · Microsoft Corporation
PowerToysUbinafsishaji · Microsoft Corporation
NuGetWasimamizi wa vifurushi na visasishaji · Microsoft Corporation
Microsoft Azure CLITerminali na zana za CLI · Microsoft Corporation
OpenSSH PreviewFTP na uhamishaji wa faili · Microsoft Corporation
Bicep CLILugha na SDK · Microsoft Corporation