Her er 1 versioner af Tokenizer, fra 29. december 2025 til den aktuelle 1.3.3. Hver version linker til udgiverens egne installationsfiler.
| Version | Dato | Størrelse | Filer |
|---|---|---|---|
| 1.3.3Nyeste | 29. december 2025 | — | 64-bit ZIP |
Tokenizer: download ældre versioner
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LicensOpen source
- Version1.3.3
- KræverWindows 10, 11
- Udgivet29. december 2025
- GitHub-stjerner★ 212
Mest populære i AI-assistenter og LLM
Se alle-
Claude CodeAI-assistenter og LLM · Anthropic PBC -
Codex CLIAI-assistenter og LLM · OpenAI, Inc. -
ChatGPTAI-assistenter og LLM · lencx -
GPT4AllAI-assistenter og LLM · Nomic -
JanAI-assistenter og LLM · Jan -
WSL ManagerAI-assistenter og LLM · Bostrot -
oh-my-piAI-assistenter og LLM · Can Bölük -
T3 CodeAI-assistenter og LLM · T3 Tools -
CC SwitchAI-assistenter og LLM · farion1231 -
LobeHubAI-assistenter og LLM · LobeHub
Mere fra Microsoft Corporation
Se alle
PowerShellTerminaler og CLI-værktøjer · Microsoft Corporation
PowerToysTilpasning · Microsoft Corporation
NuGetPakkeadministratorer og opdateringsværktøjer · Microsoft Corporation
Microsoft Azure CLITerminaler og CLI-værktøjer · Microsoft Corporation
OpenSSH PreviewFTP og filoverførsel · Microsoft Corporation
Bicep CLISprog og SDK’er · Microsoft Corporation