У спісе 1 версія праграмы Tokenizer — ад 29 снежня 2025 г. да бягучай версіі 1.3.3. Кожная версія вядзе на ўсталёўшчыкі з сервера распрацоўшчыка.
| Версія | Дата | Памер | Файлы |
|---|---|---|---|
| 1.3.3Апошняя | 29 снежня 2025 г. | — | 64-біт ZIP |
Tokenizer: спампаваць старыя версіі
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- ЛіцэнзіяАдкрыты код
- Версія1.3.3
- ПатрабаванніWindows 10, 11
- Дата выхаду29 снежня 2025 г.
- Зоркі GitHub★ 212
Самае папулярнае ў катэгорыі «ШІ-памочнікі і LLM»
Паказаць усе-
Claude CodeШІ-памочнікі і LLM · Anthropic PBC -
Codex CLIШІ-памочнікі і LLM · OpenAI, Inc. -
ChatGPTШІ-памочнікі і LLM · lencx -
GPT4AllШІ-памочнікі і LLM · Nomic -
JanШІ-памочнікі і LLM · Jan -
WSL ManagerШІ-памочнікі і LLM · Bostrot -
oh-my-piШІ-памочнікі і LLM · Can Bölük -
T3 CodeШІ-памочнікі і LLM · T3 Tools -
CC SwitchШІ-памочнікі і LLM · farion1231 -
LobeHubШІ-памочнікі і LLM · LobeHub
Іншыя праграмы распрацоўшчыка Microsoft Corporation
Паказаць усе
PowerShellТэрміналы і CLI · Microsoft Corporation
PowerToysПерсаналізацыя · Microsoft Corporation
NuGetМенеджары пакетаў і абнаўленне · Microsoft Corporation
Microsoft Azure CLIТэрміналы і CLI · Microsoft Corporation
OpenSSH PreviewFTP-кліенты і перадача файлаў · Microsoft Corporation
Bicep CLIМовы праграмавання і SDK · Microsoft Corporation