Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Nashr etuvchining tavsifi (inglizcha)
Tokenizer nima?
Tokenizer — Microsoft Corporation tomonidan chiqarilgan ochiq kodli Windows dasturi («SI yordamchilari va LLM» kategoriyasi). Dasturlash tili: C#.
Oʻrnatish va tizim talablari
Rasmiy oʻrnatish fayllari 64 bitli Windows uchun Portativ formatida taqdim etiladi. Oʻrnatishsiz ishlaydi (portativ).
Ommaboplik va fayl turlari
GitHubdagi manba kodi (microsoft/Tokenizer) 212 ta yulduzga ega. Oʻxshash dasturlar: Codex CLI, Claude Code va ChatGPT.
GitHubdagi loyiha tavsifi: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Afzalliklari / Kamchiliklari
Afzalliklari
- Ochiq kodli: kodni istalgan kishi koʻrib chiqishi va yigʻishi mumkin
- Portativ: oʻrnatishsiz ishlaydi
Kamchiliklari
- Mahalliy ARM64 versiyasi yoʻq
Qisqacha xulosa: Tokenizer — 64 bitli kompyuterlar uchun ochiq kodli Windows vositasi («SI yordamchilari va LLM» kategoriyasi).
Tokenizer dasturini yuklab olish xavfsizmi?
- Fayl nashr etuvchining oʻz domeni — github.com orqali beriladi
- Yuklab olish havolasi HTTPS protokolidan foydalanadi
- SHA256 xeshi eʼlon qilingan, shuning uchun faylni tekshirish mumkin:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Bu xesh uchun VirusTotal hisobotini ochish - Havola hali tekshirilmagan
- Manba kodi ochiq
- ExeAtlas oʻrnatish fayllarini saqlamaydi, oʻramaydi va oʻzgartirmaydi
Tegishli qoʻllanma: Windowsda fayl SHA256 xeshini tekshirish
Soʻnggi versiyalar
Barcha 1 ta versiya ›| Versiya | Sana | Hajmi | Fayllar |
|---|---|---|---|
| 1.3.3Eng soʻnggi | 29-dekabr, 2025 | — | 64 bitli ZIP |
Buyruq satridan oʻrnatish
Jim oʻrnatish ›winget install --id Microsoft.Tokenizer -eTegishli qoʻllanma: winget: dasturlarni oʻrnatish va yangilash
Maʼlumot
- Nashr etuvchi
- Microsoft Corporation
- Kategoriya
- SI yordamchilari va LLM
- Litsenziya
- MIT
- Narxi
- Bepul
- Manba kodi
- github.com/microsoft/Tokenizer
- Dasturlash tili
- C#
- Talablar
- Windows 11 / 10
- Arxitektura
- 64 bitli
- Oʻrnatuvchi turi
- Portativ
- Versiya
- 1.3.3
- Chiqarilgan sana
- 29-dekabr, 2025
- Katalogga qoʻshilgan
- 29-dekabr, 2025
- Roʻyxatdagi versiyalar
- 1
- GitHub yulduzlari
- 212
- GitHub forklari
- 36
- Veb-sayt
- github.com
- winget ID
- Microsoft.Tokenizer
Baholar va sharhlar
Hali sharhlar yoʻq. Birinchi boʻlib baholang.
Tokenizer dasturiga muqobillar
Barchasini koʻrish ›-
Ochiq kodli16,6 ming ↓ -
Xususiy (yopiq kodli)67,1 ming ↓ -
Ochiq kodli17,1 ming ↓ -
Ochiq kodli8,7 ming ↓ -
Ochiq kodli3,3 ming ↓ -
Ochiq kodli654 ↓ -
Ochiq kodli1,9 ming ↓ -
Ochiq kodli14 ming ↓
Koʻp beriladigan savollar
Tokenizer bepulmi?
Ha. Tokenizer — ochiq kodli dastur (MIT litsenziyasi).
Tokenizer dasturini yuklab olish xavfsizmi?
Fayl github.com manzilidan yuklab olinadi; bu manzil nashr etuvchiga tegishli. ExeAtlas faylni saqlamaydi va oʻzgartirmaydi. Yuklab olingan faylning SHA256 xeshini shu yerda koʻrsatilgani bilan solishtiring yoki bu xesh uchun VirusTotal hisobotini oching.
Tokenizer dasturini winget orqali qanday oʻrnatish mumkin?
PowerShell yoki Windows Terminalni oching va shu sahifadagi winget buyrugʻini ishga tushiring. winget rasmiy oʻrnatish faylini yuklab oladi va ishga tushirishdan oldin uning SHA256 xeshini tekshiradi.
Tokenizer ARM protsessorida (Windows on Arm) ishlaydimi?
ARM64 versiyasi yoʻq; Windows 11 on Arm 64 bitli versiyasini emulyatsiya orqali ishga tushira oladi.
Tokenizer dasturidan administrator huquqlarisiz foydalanish mumkinmi?
Ha, u portativ: arxivdan chiqarib, ishga tushiring.
Tokenizer dasturiga qanday muqobillar bor?
Codex CLI, Claude Code, ChatGPT, GPT4All va Jan. Muqobillar sahifasi ularni taqqoslaydi.
