Tersedia 1 versi Tokenizer, mulai dari 29 Desember 2025 hingga versi terbaru 1.3.3. Setiap versi tertaut ke file installer milik penerbit.
| Versi | Tanggal | Ukuran | File |
|---|---|---|---|
| 1.3.3Terbaru | 29 Desember 2025 | — | 64-bit ZIP |
Download Tokenizer versi lama dan semua versi
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LisensiOpen source
- Versi1.3.3
- PersyaratanWindows 10, 11
- Tanggal rilis29 Desember 2025
- Bintang GitHub★ 212
Terpopuler di Asisten AI & LLM
Lihat semua-
Claude CodeAsisten AI & LLM · Anthropic PBC -
Codex CLIAsisten AI & LLM · OpenAI, Inc. -
ChatGPTAsisten AI & LLM · lencx -
GPT4AllAsisten AI & LLM · Nomic -
JanAsisten AI & LLM · Jan -
WSL ManagerAsisten AI & LLM · Bostrot -
oh-my-piAsisten AI & LLM · Can Bölük -
T3 CodeAsisten AI & LLM · T3 Tools -
CC SwitchAsisten AI & LLM · farion1231 -
LobeHubAsisten AI & LLM · LobeHub
Aplikasi lain dari Microsoft Corporation
Lihat semua
PowerShellTerminal & alat CLI · Microsoft Corporation
PowerToysKustomisasi · Microsoft Corporation
NuGetPackage manager & updater · Microsoft Corporation
Microsoft Azure CLITerminal & alat CLI · Microsoft Corporation
OpenSSH PreviewFTP & transfer file · Microsoft Corporation
Bicep CLIBahasa pemrograman & SDK · Microsoft Corporation