Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Описание от разработчика (английский)
Что такое Tokenizer?
Tokenizer — программа для Windows с открытым исходным кодом из категории «ИИ-ассистенты и LLM». Разработчик — Microsoft Corporation. Язык программирования: C#.
Установка и системные требования
Официальные установщики выпускаются для 64-бит; тип установщика — Портативная. Программа работает без установки (портативная версия).
Популярность и типы файлов
У исходного кода на GitHub (microsoft/Tokenizer) 212 звёзд. Похожие программы: Codex CLI, Claude Code и ChatGPT.
Описание проекта на GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Плюсы / Минусы
Плюсы
- Открытый исходный код: его можно проверить и собрать самостоятельно
- Портативная версия: работает без установки
Минусы
- Нет нативной сборки ARM64
Коротко: Tokenizer — программа для Windows с открытым исходным кодом (категория «ИИ-ассистенты и LLM»); сборки: 64-бит.
Безопасно ли скачивать программу Tokenizer?
- Файл загружается с домена разработчика (github.com)
- Ссылка для скачивания использует HTTPS
- Опубликован хеш SHA256 — файл можно проверить:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Открыть отчёт VirusTotal по этому хешу - Ссылка ещё не проверялась
- Исходный код открыт
- ExeAtlas не хранит, не оборачивает и не изменяет установщики
Инструкция по теме: Как проверить хеш SHA256 файла в Windows
Последние версии
Все версии (1) ›| Версия | Дата | Размер | Файлы |
|---|---|---|---|
| 1.3.3Последняя | 29 декабря 2025 г. | — | 64-бит ZIP |
Установка из командной строки
Тихая установка ›winget install --id Microsoft.Tokenizer -eИнструкция по теме: Как пользоваться winget: установка и обновление
Информация
- Разработчик
- Microsoft Corporation
- Категория
- ИИ-ассистенты и LLM
- Лицензия
- MIT
- Цена
- Бесплатно
- Исходный код
- github.com/microsoft/Tokenizer
- Язык программирования
- C#
- Требования
- Windows 11 / 10
- Архитектура
- 64-бит
- Установщик
- Портативная
- Версия
- 1.3.3
- Дата выхода
- 29 декабря 2025 г.
- Добавлено в каталог
- 29 декабря 2025 г.
- Версий в каталоге
- 1
- Звёзды GitHub
- 212
- Форки на GitHub
- 36
- Сайт
- github.com
- ID winget
- Microsoft.Tokenizer
Оценки и отзывы
Отзывов пока нет. Оценку можно оставить первым.
Аналоги программы Tokenizer
Показать все ›-
Открытый исходный код16,6 тыс. ↓ -
Проприетарная67,1 тыс. ↓ -
Открытый исходный код17,1 тыс. ↓ -
Открытый исходный код8,7 тыс. ↓ -
Открытый исходный код3,3 тыс. ↓ -
Открытый исходный код654 ↓ -
Открытый исходный код1,9 тыс. ↓ -
Открытый исходный код14 тыс. ↓
Частые вопросы
Программа Tokenizer бесплатная?
Да. Tokenizer — программа с открытым исходным кодом (лицензия MIT); скачать и использовать её можно бесплатно.
Безопасно ли скачивать программу Tokenizer?
Файл загружается с github.com — этот домен принадлежит разработчику; ExeAtlas не хранит и не изменяет файл. Сравните SHA256 скачанного файла с указанным на этой странице или откройте отчёт VirusTotal по этому хешу.
Как установить Tokenizer через winget?
Откройте PowerShell или Терминал Windows и выполните команду winget с этой страницы. winget скачает официальный установщик и проверит его хеш SHA256 перед запуском.
Работает ли Tokenizer на ARM (Windows on Arm)?
Сборки ARM64 нет; Windows 11 on Arm может запустить версию 64-бит через эмуляцию.
Можно ли пользоваться программой Tokenizer без прав администратора?
Да, это портативная версия: достаточно распаковать архив и запустить программу.
Какие есть аналоги программы Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All и Jan. Их сравнение — на странице аналогов.
