Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Шығарушының сипаттамасы (ағылшын тілі)
Tokenizer деген не?
Tokenizer — Microsoft Corporation шығарған ашық кодты Windows бағдарламасы («жи көмекшілері және llm» санаты). Бағдарламалау тілі: C#.
Орнату және жүйелік талаптар
Ресми орнату файлдары 64 бит Windows үшін Портативті пішімінде ұсынылады. Орнатусыз жұмыс істейді (портативті нұсқа).
Танымалдығы және файл түрлері
GitHub-тағы бастапқы коды (microsoft/Tokenizer) 212 жұлдыз жинаған. Ұқсас бағдарламалар: Codex CLI, Claude Code және ChatGPT.
GitHub-тағы жоба сипаттамасы: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Артықшылықтары / Кемшіліктері
Артықшылықтары
- Ашық код: кез келген адам кодты тексеріп, өзі құрастыра алады
- Портативті: орнатуды қажет етпейді
Кемшіліктері
- Нативті ARM64 нұсқасы жоқ
Қысқаша: Tokenizer — 64 бит компьютерлеріне арналған ашық кодты «жи көмекшілері және llm» санатындағы құрал.
Tokenizer бағдарламасын жүктеп алу қауіпсіз бе?
- Файл шығарушының өз доменінен (github.com) беріледі
- Жүктеу сілтемесі HTTPS қолданады
- SHA256 хэші жарияланған, файлды тексере аласыз:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Осы хэш бойынша VirusTotal есебін ашу - Сілтеме әлі тексерілмеген
- Бастапқы коды ашық
- ExeAtlas орнату файлдарын сақтамайды, орамайды және өзгертпейді
Тақырыптас нұсқаулық: Windows-та файлдың SHA256 хэшін тексеру
Соңғы нұсқалар
Барлық 1 нұсқа ›| Нұсқа | Күні | Көлемі | Файлдар |
|---|---|---|---|
| 1.3.3Соңғы | 2025 ж. 29 желтоқсан | — | 64 бит ZIP |
Командалық жолдан орнату
Үнсіз орнату ›winget install --id Microsoft.Tokenizer -eТақырыптас нұсқаулық: winget қалай пайдаланылады: орнату және жаңарту
Ақпарат
- Шығарушы
- Microsoft Corporation
- Санат
- ЖИ көмекшілері және LLM
- Лицензия
- MIT
- Бағасы
- Тегін
- Бастапқы код
- github.com/microsoft/Tokenizer
- Жазылған тілі
- C#
- Талаптар
- Windows 11 / 10
- Архитектура
- 64 бит
- Орнатқыш түрі
- Портативті
- Нұсқа
- 1.3.3
- Шыққан күні
- 2025 ж. 29 желтоқсан
- Каталогқа қосылған күні
- 2025 ж. 29 желтоқсан
- Тіркелген нұсқалар
- 1
- GitHub жұлдыздары
- 212
- GitHub форктары
- 36
- Ресми сайт
- github.com
- winget ID
- Microsoft.Tokenizer
Бағалар мен пікірлер
Әзірге пікір жоқ. Бірінші болып бағалаңыз.
Tokenizer баламалары
Барлығын көру ›-
Ашық кодты16,6 мың ↓ -
Меншікті67,1 мың ↓ -
Ашық кодты17,1 мың ↓ -
Ашық кодты8,7 мың ↓ -
Ашық кодты3,3 мың ↓ -
Ашық кодты654 ↓ -
Ашық кодты1,9 мың ↓ -
Ашық кодты14 мың ↓
Жиі қойылатын сұрақтар
Tokenizer тегін бе?
Иә. Tokenizer — ашық кодты бағдарлама (MIT лицензиясы).
Tokenizer бағдарламасын жүктеп алу қауіпсіз бе?
Файл github.com серверінен жүктеледі, бұл сервер шығарушыға тиесілі. ExeAtlas файлды сақтамайды және өзгертпейді. Жүктелген файлдың SHA256 хэшін осы беттегі мәнмен салыстырыңыз немесе сол хэш бойынша VirusTotal есебін ашыңыз.
Tokenizer бағдарламасын winget арқылы қалай орнатуға болады?
PowerShell немесе Windows Terminal ашып, осы беттегі winget командасын іске қосыңыз. winget ресми орнату файлын жүктеп алады және іске қоспас бұрын оның SHA256 хэшін тексереді.
Tokenizer ARM процессорында (Windows on Arm) жұмыс істей ме?
ARM64 нұсқасы жоқ; Windows 11 on Arm 64 бит нұсқасын эмуляция арқылы іске қоса алады.
Tokenizer бағдарламасын әкімші құқықтарынсыз пайдалануға бола ма?
Иә, ол портативті: мұрағаттан шығарып, іске қоссаңыз болғаны.
Tokenizer бағдарламасының қандай баламалары бар?
Codex CLI, Claude Code, ChatGPT, GPT4All және Jan. Баламалар беті оларды салыстырады.
