Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Апісанне ад распрацоўшчыка (англійская)
Што такое Tokenizer?
Tokenizer — праграма для Windows з адкрытым зыходным кодам з катэгорыі «ШІ-памочнікі і LLM». Распрацоўшчык — Microsoft Corporation. Мова праграмавання: C#.
Устаноўка і сістэмныя патрабаванні
Афіцыйныя ўсталёўшчыкі выпускаюцца для 64-біт; тып усталёўшчыка — Партатыўная. Праграма працуе без устаноўкі (партатыўная версія).
Папулярнасць і тыпы файлаў
Зыходны код на GitHub (microsoft/Tokenizer) мае 212 зорак. Падобныя праграмы: Codex CLI, Claude Code і ChatGPT.
Апісанне праекта на GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Перавагі / Недахопы
Перавагі
- Адкрыты зыходны код: яго можна праверыць і сабраць самастойна
- Партатыўная версія: працуе без устаноўкі
Недахопы
- Няма натыўнай зборкі ARM64
Коратка: Tokenizer — праграма для Windows з адкрытым зыходным кодам (катэгорыя «ШІ-памочнікі і LLM»); зборкі: 64-біт.
Ці бяспечна спампоўваць праграму Tokenizer?
- Файл спампоўваецца з дамена распрацоўшчыка (github.com)
- Спасылка на спампоўку выкарыстоўвае HTTPS
- Апублікаваны хэш SHA256 — файл можна праверыць:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Адкрыць справаздачу VirusTotal для гэтага хэша - Спасылка яшчэ не правяралася
- Зыходны код адкрыты
- ExeAtlas не захоўвае, не абгортвае і не змяняе ўсталёўшчыкі
Інструкцыя па тэме: Як праверыць хэш SHA256 файла ў Windows
Апошнія версіі
Усе версіі (1) ›| Версія | Дата | Памер | Файлы |
|---|---|---|---|
| 1.3.3Апошняя | 29 снежня 2025 г. | — | 64-біт ZIP |
Устаноўка з каманднага радка
Ціхая ўстаноўка ›winget install --id Microsoft.Tokenizer -eІнструкцыя па тэме: Як карыстацца winget: устаноўка і абнаўленне
Інфармацыя
- Распрацоўшчык
- Microsoft Corporation
- Катэгорыя
- ШІ-памочнікі і LLM
- Ліцэнзія
- MIT
- Кошт
- Бясплатна
- Зыходны код
- github.com/microsoft/Tokenizer
- Мова праграмавання
- C#
- Патрабаванні
- Windows 11 / 10
- Архітэктура
- 64-біт
- Усталёўшчык
- Партатыўная
- Версія
- 1.3.3
- Дата выхаду
- 29 снежня 2025 г.
- Дададзена ў каталог
- 29 снежня 2025 г.
- Версій у каталогу
- 1
- Зоркі GitHub
- 212
- Форкі на GitHub
- 36
- Сайт
- github.com
- ID winget
- Microsoft.Tokenizer
Ацэнкі і водгукі
Водгукаў пакуль няма. Можна ацаніць першым.
Аналагі праграмы Tokenizer
Паказаць усе ›-
Адкрыты код16,6 тыс. ↓ -
Прапрыетарная67,1 тыс. ↓ -
Адкрыты код17,1 тыс. ↓ -
Адкрыты код8,7 тыс. ↓ -
Адкрыты код3,3 тыс. ↓ -
Адкрыты код654 ↓ -
Адкрыты код1,9 тыс. ↓ -
Адкрыты код14 тыс. ↓
Частыя пытанні
Праграма Tokenizer бясплатная?
Так. Tokenizer — праграма з адкрытым зыходным кодам (ліцэнзія MIT); спампаваць і выкарыстоўваць яе можна бясплатна.
Ці бяспечна спампоўваць праграму Tokenizer?
Файл спампоўваецца з github.com — гэты дамен належыць распрацоўшчыку; ExeAtlas не захоўвае і не змяняе файл. Параўнайце SHA256 спампаванага файла з пазначаным на гэтай старонцы або адкрыйце справаздачу VirusTotal для гэтага хэша.
Як усталяваць Tokenizer праз winget?
Адкрыйце PowerShell або Тэрмінал Windows і выканайце каманду winget з гэтай старонкі. winget спампуе афіцыйны ўсталёўшчык і праверыць яго хэш SHA256 перад запускам.
Ці працуе Tokenizer на ARM (Windows on Arm)?
Зборкі ARM64 няма; Windows 11 on Arm можа запусціць версію 64-біт праз эмуляцыю.
Ці можна карыстацца праграмай Tokenizer без правоў адміністратара?
Так, гэта партатыўная версія: дастаткова распакаваць архіў і запусціць праграму.
Якія ёсць аналагі праграмы Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All і Jan. Іх параўнанне — на старонцы аналагаў.
