Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Опис від розробника (англійська)
Що таке Tokenizer?
Tokenizer — програма для Windows з відкритим вихідним кодом з категорії «ШІ-асистенти та LLM». Розробник — Microsoft Corporation. Мова програмування: C#.
Встановлення та системні вимоги
Офіційні інсталятори випускаються для 64-біт; тип інсталятора — Портативна. Програма працює без встановлення (портативна версія).
Популярність і типи файлів
Вихідний код на GitHub (microsoft/Tokenizer) має 212 зірок. Схожі програми: Codex CLI, Claude Code і ChatGPT.
Опис проєкту на GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Переваги / Недоліки
Переваги
- Відкритий вихідний код: його можна перевірити й зібрати самостійно
- Портативна версія: працює без встановлення
Недоліки
- Немає нативної збірки ARM64
Коротко: Tokenizer — програма для Windows з відкритим вихідним кодом (категорія «ШІ-асистенти та LLM»); збірки: 64-біт.
Чи безпечно завантажувати програму Tokenizer?
- Файл завантажується з домену розробника (github.com)
- Посилання для завантаження використовує HTTPS
- Опубліковано хеш SHA256 — файл можна перевірити:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Відкрити звіт VirusTotal для цього хешу - Посилання ще не перевірялося
- Вихідний код відкритий
- ExeAtlas не зберігає, не обгортає й не змінює інсталятори
Інструкція на тему: Як перевірити хеш SHA256 файлу у Windows
Останні версії
Усі версії (1) ›| Версія | Дата | Розмір | Файли |
|---|---|---|---|
| 1.3.3Остання | 29 грудня 2025 р. | — | 64-біт ZIP |
Встановлення з командного рядка
Тихе встановлення ›winget install --id Microsoft.Tokenizer -eІнструкція на тему: Як користуватися winget: встановлення й оновлення
Інформація
- Розробник
- Microsoft Corporation
- Категорія
- ШІ-асистенти та LLM
- Ліцензія
- MIT
- Ціна
- Безкоштовно
- Вихідний код
- github.com/microsoft/Tokenizer
- Мова програмування
- C#
- Вимоги
- Windows 11 / 10
- Архітектура
- 64-біт
- Інсталятор
- Портативна
- Версія
- 1.3.3
- Дата виходу
- 29 грудня 2025 р.
- Додано до каталогу
- 29 грудня 2025 р.
- Версій у каталозі
- 1
- Зірки GitHub
- 212
- Форки на GitHub
- 36
- Сайт
- github.com
- ID winget
- Microsoft.Tokenizer
Оцінки та відгуки
Відгуків поки немає. Оцінку можна залишити першим.
Аналоги програми Tokenizer
Показати всі ›-
Відкритий код16,6 тис. ↓ -
Пропрієтарна67,1 тис. ↓ -
Відкритий код17,1 тис. ↓ -
Відкритий код8,7 тис. ↓ -
Відкритий код3,3 тис. ↓ -
Відкритий код654 ↓ -
Відкритий код1,9 тис. ↓ -
Відкритий код14 тис. ↓
Часті питання
Програма Tokenizer безкоштовна?
Так. Tokenizer — програма з відкритим вихідним кодом (ліцензія MIT); завантажити й використовувати її можна безкоштовно.
Чи безпечно завантажувати програму Tokenizer?
Файл завантажується з github.com — цей домен належить розробникові; ExeAtlas не зберігає й не змінює файл. Порівняйте SHA256 завантаженого файлу з указаним на цій сторінці або відкрийте звіт VirusTotal для цього хешу.
Як установити Tokenizer через winget?
Відкрийте PowerShell або Термінал Windows і виконайте команду winget із цієї сторінки. winget завантажить офіційний інсталятор і перевірить його хеш SHA256 перед запуском.
Чи працює Tokenizer на ARM (Windows on Arm)?
Збірки ARM64 немає; Windows 11 on Arm може запустити версію 64-біт через емуляцію.
Чи можна користуватися програмою Tokenizer без прав адміністратора?
Так, це портативна версія: достатньо розпакувати архів і запустити програму.
Які є аналоги програми Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All і Jan. Їх порівняння — на сторінці аналогів.
