Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Описание от разработчика (английски)
Какво е Tokenizer?
Tokenizer е програма за Windows с отворен код от категория „AI асистенти и LLM“. Разработчик: Microsoft Corporation. Език за програмиране: C#.
Инсталиране и системни изисквания
Официалните инсталатори са за 64-битова; тип на инсталатора: Преносима версия. Програмата работи без инсталиране (преносима версия).
Популярност и типове файлове
Изходният код в GitHub (microsoft/Tokenizer) има 212 звезди. Подобни програми: Codex CLI, Claude Code и ChatGPT.
Описание на проекта в GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Предимства / Недостатъци
Предимства
- Отворен код: всеки може да го прегледа и компилира
- Преносима версия: работи без инсталиране
Недостатъци
- Няма собствена компилация ARM64
Накратко: Tokenizer е програма за Windows с отворен код (категория „AI асистенти и LLM“); компилации: 64-битова.
Безопасно ли е изтеглянето на Tokenizer?
- Файлът се изтегля от домейна на разработчика (github.com)
- Връзката за изтегляне използва HTTPS
- Публикуван е хеш SHA256 – файлът може да се провери:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Отворете доклада на VirusTotal за този хеш - Връзката още не е проверена
- Изходният код е публичен
- ExeAtlas не съхранява, не обвива и не променя инсталатори
Свързано ръководство: Как да проверите SHA256 хеша на файл в Windows
Последни версии
Всички версии (1) ›| Версия | Дата | Размер | Файлове |
|---|---|---|---|
| 1.3.3Последна | 29 декември 2025 г. | — | 64-битова ZIP |
Инсталиране от командния ред
Тиха инсталация ›winget install --id Microsoft.Tokenizer -eСвързано ръководство: Как се използва winget: инсталиране и обновяване
Информация
- Разработчик
- Microsoft Corporation
- Категория
- AI асистенти и LLM
- Лиценз
- MIT
- Цена
- Безплатно
- Изходен код
- github.com/microsoft/Tokenizer
- Език за програмиране
- C#
- Изисквания
- Windows 11 / 10
- Архитектура
- 64-битова
- Инсталатор
- Преносима версия
- Версия
- 1.3.3
- Дата на издаване
- 29 декември 2025 г.
- Добавена в каталога
- 29 декември 2025 г.
- Версии в каталога
- 1
- Звезди в GitHub
- 212
- Разклонения в GitHub
- 36
- Уебсайт
- github.com
- ID в winget
- Microsoft.Tokenizer
Оценки и отзиви
Все още няма отзиви. Можете да дадете първата оценка.
Алтернативи на Tokenizer
Виж всички ›-
Отворен код16,6 хил. ↓ -
Собственически лиценз67,1 хил. ↓ -
Отворен код17,1 хил. ↓ -
Отворен код8,7 хил. ↓ -
Отворен код3,3 хил. ↓ -
Отворен код654 ↓ -
Отворен код1,9 хил. ↓ -
Отворен код14 хил. ↓
Често задавани въпроси
Безплатна ли е програмата Tokenizer?
Да. Tokenizer е програма с отворен код (лиценз MIT); изтеглянето и използването са безплатни.
Безопасно ли е изтеглянето на Tokenizer?
Файлът се изтегля от github.com – домейн на разработчика; ExeAtlas не съхранява и не променя файла. Сравнете SHA256 на изтегления файл със стойността на тази страница или отворете доклада на VirusTotal за този хеш.
Как да инсталирам Tokenizer с winget?
Отворете PowerShell или Windows Terminal и изпълнете командата за winget от тази страница. winget изтегля официалния инсталатор и преди стартиране проверява хеша му SHA256.
Работи ли Tokenizer на ARM (Windows on Arm)?
Компилация за ARM64 няма; Windows 11 on Arm може да стартира версията за 64-битова чрез емулация.
Може ли Tokenizer да се използва без администраторски права?
Да, това е преносима версия: достатъчно е да я разархивирате и стартирате.
Какви са алтернативите на Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All и Jan. Сравнение има на страницата с алтернативи.
