Список включает 1 версию программы Tokenizer — с 29 декабря 2025 г. по текущую версию 1.3.3. Каждая версия ведёт на установщики с сервера разработчика.
| Версия | Дата | Размер | Файлы |
|---|---|---|---|
| 1.3.3Последняя | 29 декабря 2025 г. | — | 64-бит ZIP |
Tokenizer: скачать старые версии
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- ЛицензияОткрытый исходный код
- Версия1.3.3
- ТребованияWindows 10, 11
- Дата выхода29 декабря 2025 г.
- Звёзды GitHub★ 212
Самое популярное в категории «ИИ-ассистенты и LLM»
Показать все-
Claude CodeИИ-ассистенты и LLM · Anthropic PBC -
Codex CLIИИ-ассистенты и LLM · OpenAI, Inc. -
ChatGPTИИ-ассистенты и LLM · lencx -
GPT4AllИИ-ассистенты и LLM · Nomic -
JanИИ-ассистенты и LLM · Jan -
WSL ManagerИИ-ассистенты и LLM · Bostrot -
oh-my-piИИ-ассистенты и LLM · Can Bölük -
T3 CodeИИ-ассистенты и LLM · T3 Tools -
CC SwitchИИ-ассистенты и LLM · farion1231 -
LobeHubИИ-ассистенты и LLM · LobeHub
Другие программы разработчика Microsoft Corporation
Показать все
PowerShellТерминалы и консольные утилиты · Microsoft Corporation
PowerToysОформление · Microsoft Corporation
NuGetМенеджеры пакетов и обновлений · Microsoft Corporation
Microsoft Azure CLIТерминалы и консольные утилиты · Microsoft Corporation
OpenSSH PreviewFTP-клиенты и передача файлов · Microsoft Corporation
Bicep CLIЯзыки и SDK · Microsoft Corporation