1 versi Tokenizer disenaraikan di sini, dari 29 Disember 2025 hingga versi terkini 1.3.3. Setiap satu dipautkan ke fail pemasang milik penerbit sendiri.
| Versi | Tarikh | Saiz | Fail |
|---|---|---|---|
| 1.3.3Terkini | 29 Disember 2025 | — | 64-bit ZIP |
Tokenizer: semua versi dan versi lama
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LesenSumber terbuka
- Versi1.3.3
- KeperluanWindows 10, 11
- Dikeluarkan29 Disember 2025
- Bintang GitHub★ 212
Paling popular dalam Pembantu AI & LLM
Lihat semua-
Claude CodePembantu AI & LLM · Anthropic PBC -
Codex CLIPembantu AI & LLM · OpenAI, Inc. -
ChatGPT by lencxPembantu AI & LLM · lencx -
GPT4AllPembantu AI & LLM · Nomic -
JanPembantu AI & LLM · Jan -
oh-my-piPembantu AI & LLM · Can Bölük -
T3 CodePembantu AI & LLM · T3 Tools -
WSL ManagerPembantu AI & LLM · Bostrot -
CC SwitchPembantu AI & LLM · farion1231 -
LobeHubPembantu AI & LLM · LobeHub
Lagi daripada Microsoft Corporation
Lihat semua
PowerShellTerminal & alat CLI · Microsoft Corporation
PowerToysPenyesuaian · Microsoft Corporation
NuGetPengurus pakej & pengemas kini · Microsoft Corporation
Microsoft Azure CLITerminal & alat CLI · Microsoft Corporation
OpenSSH PreviewFTP & pemindahan fail · Microsoft Corporation
Bicep CLIBahasa & SDK · Microsoft Corporation