Här listas 1 versioner av Tokenizer, från 29 december 2025 till den aktuella 1.3.3. Varje version länkar till utgivarens egna installationsfiler.
| Version | Datum | Storlek | Filer |
|---|---|---|---|
| 1.3.3Senaste | 29 december 2025 | — | 64-bitars ZIP |
Tokenizer: äldre versioner att ladda ner
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LicensÖppen källkod
- Version1.3.3
- KräverWindows 10, 11
- Släppt29 december 2025
- GitHub-stjärnor★ 212
Populärast i AI-assistenter och LLM
Visa alla-
Claude CodeAI-assistenter och LLM · Anthropic PBC -
Codex CLIAI-assistenter och LLM · OpenAI, Inc. -
ChatGPTAI-assistenter och LLM · lencx -
GPT4AllAI-assistenter och LLM · Nomic -
JanAI-assistenter och LLM · Jan -
WSL ManagerAI-assistenter och LLM · Bostrot -
oh-my-piAI-assistenter och LLM · Can Bölük -
T3 CodeAI-assistenter och LLM · T3 Tools -
CC SwitchAI-assistenter och LLM · farion1231 -
LobeHubAI-assistenter och LLM · LobeHub
Mer från Microsoft Corporation
Visa alla
PowerShellTerminaler och CLI-verktyg · Microsoft Corporation
PowerToysAnpassning · Microsoft Corporation
NuGetPakethanterare och uppdaterare · Microsoft Corporation
Microsoft Azure CLITerminaler och CLI-verktyg · Microsoft Corporation
OpenSSH PreviewFTP och filöverföring · Microsoft Corporation
Bicep CLISpråk och SDK:er · Microsoft Corporation