В списъка има 1 версия на Tokenizer – от 29 декември 2025 г. до текущата 1.3.3. Всяка води към инсталаторите на сървъра на разработчика.
| Версия | Дата | Размер | Файлове |
|---|---|---|---|
| 1.3.3Последна | 29 декември 2025 г. | — | 64-битова ZIP |
Tokenizer: стари версии за изтегляне
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- ЛицензОтворен код
- Версия1.3.3
- ИзискванияWindows 10, 11
- Дата на издаване29 декември 2025 г.
- Звезди в GitHub★ 212
Най-популярни в категория „AI асистенти и LLM“
Виж всички-
Claude CodeAI асистенти и LLM · Anthropic PBC -
Codex CLIAI асистенти и LLM · OpenAI, Inc. -
ChatGPTAI асистенти и LLM · lencx -
GPT4AllAI асистенти и LLM · Nomic -
JanAI асистенти и LLM · Jan -
WSL ManagerAI асистенти и LLM · Bostrot -
oh-my-piAI асистенти и LLM · Can Bölük -
T3 CodeAI асистенти и LLM · T3 Tools -
CC SwitchAI асистенти и LLM · farion1231 -
LobeHubAI асистенти и LLM · LobeHub
Още програми от Microsoft Corporation
Виж всички
PowerShellТерминали и команден ред · Microsoft Corporation
PowerToysОблик на системата · Microsoft Corporation
NuGetМениджъри на пакети и обновявания · Microsoft Corporation
Microsoft Azure CLIТерминали и команден ред · Microsoft Corporation
OpenSSH PreviewFTP клиенти и прехвърляне на файлове · Microsoft Corporation
Bicep CLIЕзици и SDK · Microsoft Corporation