Hier staan 1 versies van Tokenizer, van 29 december 2025 tot de huidige 1.3.3. Elke versie linkt naar de installatiebestanden van de uitgever zelf.
| Versie | Datum | Grootte | Bestanden |
|---|---|---|---|
| 1.3.3Nieuwste | 29 december 2025 | — | 64-bits ZIP |
Tokenizer: oudere versies downloaden
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LicentieOpen source
- Versie1.3.3
- VereistWindows 10, 11
- Uitgebracht29 december 2025
- GitHub-sterren★ 212
Populairst in AI-assistenten & LLM’s
Alles bekijken-
Claude CodeAI-assistenten & LLM’s · Anthropic PBC -
Codex CLIAI-assistenten & LLM’s · OpenAI, Inc. -
ChatGPTAI-assistenten & LLM’s · lencx -
GPT4AllAI-assistenten & LLM’s · Nomic -
JanAI-assistenten & LLM’s · Jan -
WSL ManagerAI-assistenten & LLM’s · Bostrot -
oh-my-piAI-assistenten & LLM’s · Can Bölük -
T3 CodeAI-assistenten & LLM’s · T3 Tools -
CC SwitchAI-assistenten & LLM’s · farion1231 -
LobeHubAI-assistenten & LLM’s · LobeHub
Meer van Microsoft Corporation
Alles bekijken
PowerShellTerminals & opdrachtregel · Microsoft Corporation
PowerToysPersonalisatie · Microsoft Corporation
NuGetPakketbeheerders & updaters · Microsoft Corporation
Microsoft Azure CLITerminals & opdrachtregel · Microsoft Corporation
OpenSSH PreviewFTP & bestandsoverdracht · Microsoft Corporation
Bicep CLIProgrammeertalen & SDK’s · Microsoft Corporation