Her finner du 1 versjon av Tokenizer, fra 29. desember 2025 til gjeldende 1.3.3. Hver av dem lenker til utgiverens egne installasjonsfiler.
| Versjon | Dato | Størrelse | Filer |
|---|---|---|---|
| 1.3.3Nyeste | 29. desember 2025 | — | 64-bit ZIP |
Tokenizer: eldre versjoner og versjonshistorikk
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LisensÅpen kildekode
- Versjon1.3.3
- KravWindows 10, 11
- Utgitt29. desember 2025
- GitHub-stjerner★ 212
Mest populær i KI-assistenter og språkmodeller
Se alle-
Claude CodeKI-assistenter og språkmodeller · Anthropic PBC -
Codex CLIKI-assistenter og språkmodeller · OpenAI, Inc. -
ChatGPTKI-assistenter og språkmodeller · lencx -
GPT4AllKI-assistenter og språkmodeller · Nomic -
JanKI-assistenter og språkmodeller · Jan -
WSL ManagerKI-assistenter og språkmodeller · Bostrot -
oh-my-piKI-assistenter og språkmodeller · Can Bölük -
T3 CodeKI-assistenter og språkmodeller · T3 Tools -
CC SwitchKI-assistenter og språkmodeller · farion1231 -
LobeHubKI-assistenter og språkmodeller · LobeHub
Mer fra Microsoft Corporation
Se alle
PowerShellTerminaler og kommandolinje · Microsoft Corporation
PowerToysTilpasning · Microsoft Corporation
NuGetPakkebehandlere og oppdaterere · Microsoft Corporation
Microsoft Azure CLITerminaler og kommandolinje · Microsoft Corporation
OpenSSH PreviewFTP og filoverføring · Microsoft Corporation
Bicep CLIProgrammeringsspråk og SDK-er · Microsoft Corporation