Hier is 1 weergawes van Tokenizer gelys, van 29 Desember 2025 tot die huidige 1.3.3. Elkeen skakel na die uitgewer se eie installeerlêers.
| Weergawe | Datum | Grootte | Lêers |
|---|---|---|---|
| 1.3.3Nuutste | 29 Desember 2025 | — | 64-bis ZIP |
Tokenizer: alle weergawes en ouer weergawes
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LisensieOopbron
- Weergawe1.3.3
- VereisWindows 10, 11
- Vrygestel29 Desember 2025
- GitHub-sterre★ 212
Gewildste in KI-assistente en LLM’s
Sien alles-
Claude CodeKI-assistente en LLM’s · Anthropic PBC -
Codex CLIKI-assistente en LLM’s · OpenAI, Inc. -
ChatGPTKI-assistente en LLM’s · lencx -
GPT4AllKI-assistente en LLM’s · Nomic -
JanKI-assistente en LLM’s · Jan -
WSL ManagerKI-assistente en LLM’s · Bostrot -
oh-my-piKI-assistente en LLM’s · Can Bölük -
T3 CodeKI-assistente en LLM’s · T3 Tools -
CC SwitchKI-assistente en LLM’s · farion1231 -
LobeHubKI-assistente en LLM’s · LobeHub
Meer van Microsoft Corporation
Sien alles
PowerShellTerminale en CLI-gereedskap · Microsoft Corporation
PowerToysAanpassing · Microsoft Corporation
NuGetPakketbestuurders en bywerkers · Microsoft Corporation
Microsoft Azure CLITerminale en CLI-gereedskap · Microsoft Corporation
OpenSSH PreviewFTP en lêeroordrag · Microsoft Corporation
Bicep CLITale en SDK’s · Microsoft Corporation