A Tokenizer program 1 verziója szerepel itt, 2025. december 29. óta egészen a jelenlegi 1.3.3 verzióig. Mindegyik a kiadó saját telepítőfájljaira mutat.
| Verzió | Dátum | Méret | Fájlok |
|---|---|---|---|
| 1.3.3Legújabb | 2025. december 29. | — | 64 bites ZIP |
Tokenizer: régebbi verziók és összes kiadás
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LicencNyílt forráskódú
- Verzió1.3.3
- RendszerigényWindows 10, 11
- Megjelenés2025. december 29.
- GitHub-csillag★ 212
A legnépszerűbbek – MI-asszisztensek és LLM-ek
Összes-
Claude CodeMI-asszisztensek és LLM-ek · Anthropic PBC -
Codex CLIMI-asszisztensek és LLM-ek · OpenAI, Inc. -
ChatGPTMI-asszisztensek és LLM-ek · lencx -
GPT4AllMI-asszisztensek és LLM-ek · Nomic -
JanMI-asszisztensek és LLM-ek · Jan -
WSL ManagerMI-asszisztensek és LLM-ek · Bostrot -
oh-my-piMI-asszisztensek és LLM-ek · Can Bölük -
T3 CodeMI-asszisztensek és LLM-ek · T3 Tools -
CC SwitchMI-asszisztensek és LLM-ek · farion1231 -
LobeHubMI-asszisztensek és LLM-ek · LobeHub
További programok – Microsoft Corporation
Összes
PowerShellTerminálok és parancssor · Microsoft Corporation
PowerToysTestreszabás · Microsoft Corporation
NuGetCsomagkezelők és frissítők · Microsoft Corporation
Microsoft Azure CLITerminálok és parancssor · Microsoft Corporation
OpenSSH PreviewFTP és fájlátvitel · Microsoft Corporation
Bicep CLIProgramnyelvek és SDK-k · Microsoft Corporation