Spisak obuhvata 1 verziju programa Tokenizer, od 29. decembar 2025. do aktuelne 1.3.3. Svaka vodi do instalacionih fajlova na serveru izdavača.
| Verzija | Datum | Veličina | Fajlovi |
|---|---|---|---|
| 1.3.3Najnovija | 29. decembar 2025. | — | 64-bit ZIP |
Tokenizer: starije verzije za preuzimanje
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LicencaOtvoreni kod
- Verzija1.3.3
- ZahteviWindows 10, 11
- Objavljeno29. decembar 2025.
- Zvezdice na GitHubu★ 212
Najpopularnije u kategoriji „AI asistenti i LLM“
Prikaži sve-
Claude CodeAI asistenti i LLM · Anthropic PBC -
Codex CLIAI asistenti i LLM · OpenAI, Inc. -
ChatGPTAI asistenti i LLM · lencx -
GPT4AllAI asistenti i LLM · Nomic -
JanAI asistenti i LLM · Jan -
WSL ManagerAI asistenti i LLM · Bostrot -
oh-my-piAI asistenti i LLM · Can Bölük -
T3 CodeAI asistenti i LLM · T3 Tools -
CC SwitchAI asistenti i LLM · farion1231 -
LobeHubAI asistenti i LLM · LobeHub
Još programa izdavača Microsoft Corporation
Prikaži sve
PowerShellTerminali i CLI alati · Microsoft Corporation
PowerToysPrilagođavanje · Microsoft Corporation
NuGetMenadžeri paketa i ažuriranje · Microsoft Corporation
Microsoft Azure CLITerminali i CLI alati · Microsoft Corporation
OpenSSH PreviewFTP i prenos fajlova · Microsoft Corporation
Bicep CLIJezici i SDK · Microsoft Corporation