Hier sind 1 Versionen von Tokenizer aufgeführt, von 29. Dezember 2025 bis zur aktuellen 1.3.3. Jede verweist auf die Installationsdateien des Herstellers.
| Version | Datum | Größe | Dateien |
|---|---|---|---|
| 1.3.3Aktuell | 29. Dezember 2025 | — | 64-Bit ZIP |
Tokenizer: alte Versionen herunterladen
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LizenzOpen Source
- Version1.3.3
- VoraussetzungWindows 10, 11
- Veröffentlicht29. Dezember 2025
- GitHub-Sterne★ 212
Am beliebtesten in KI-Assistenten & LLMs
Alle anzeigen-
Claude CodeKI-Assistenten & LLMs · Anthropic PBC -
Codex CLIKI-Assistenten & LLMs · OpenAI, Inc. -
ChatGPTKI-Assistenten & LLMs · lencx -
GPT4AllKI-Assistenten & LLMs · Nomic -
JanKI-Assistenten & LLMs · Jan -
WSL ManagerKI-Assistenten & LLMs · Bostrot -
oh-my-piKI-Assistenten & LLMs · Can Bölük -
T3 CodeKI-Assistenten & LLMs · T3 Tools -
CC SwitchKI-Assistenten & LLMs · farion1231 -
LobeHubKI-Assistenten & LLMs · LobeHub
Mehr von Microsoft Corporation
Alle anzeigen
PowerShellTerminals & Kommandozeile · Microsoft Corporation
PowerToysAnpassung · Microsoft Corporation
NuGetPaketmanager & Updater · Microsoft Corporation
Microsoft Azure CLITerminals & Kommandozeile · Microsoft Corporation
OpenSSH PreviewFTP & Dateiübertragung · Microsoft Corporation
Bicep CLIProgrammiersprachen & SDKs · Microsoft Corporation