Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Përshkrimi i botuesit (anglisht)
Çfarë është Tokenizer?
Tokenizer është një program me burim të hapur për Windows në kategorinë „Asistentë IA dhe LLM”, nga Microsoft Corporation. Është shkruar në C#.
Instalimi dhe kërkesat
Ka instalues zyrtarë për 64-bit në formatin Portativ. Funksionon pa instalim (portativ).
Popullariteti dhe llojet e skedarëve
Kodi burimor në GitHub (microsoft/Tokenizer) ka 212 yje. Programe të ngjashme janë Codex CLI, Claude Code dhe ChatGPT.
Përshkrimi i projektit në GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Pikat e forta / Pikat e dobëta
Pikat e forta
- Burim i hapur: kodin mund ta shqyrtojë dhe ta kompilojë kushdo
- Portativ: funksionon pa instalim
Pikat e dobëta
- Pa version vendas ARM64
Shkurtimisht: Tokenizer është një mjet me burim të hapur në kategorinë „Asistentë IA dhe LLM”, për kompjuterë 64-bit.
A është i sigurt shkarkimi i Tokenizer?
- Skedari shpërndahet nga github.com, domeni i vetë botuesit
- Lidhja e shkarkimit përdor HTTPS
- Është publikuar një hash SHA256, ndaj skedarin mund ta verifikoni:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Hapni raportin e VirusTotal për këtë hash - Lidhja ende nuk është kontrolluar
- Kodi burimor është publik
- ExeAtlas nuk ruan, nuk mbështjell dhe nuk ndryshon instalues
Udhëzues i lidhur: Si të kontrolloni hash-in SHA256 të një skedari
Versionet e fundit
Të gjitha versionet (1) ›| Versioni | Data | Madhësia | Skedarët |
|---|---|---|---|
| 1.3.3I fundit | 29 dhjetor 2025 | — | 64-bit ZIP |
Instalimi nga rreshti i komandave
Instalim i heshtur ›winget install --id Microsoft.Tokenizer -eUdhëzues i lidhur: Si përdoret winget: instalimi dhe përditësimi i programeve
Informacion
- Botuesi
- Microsoft Corporation
- Kategoria
- Asistentë IA dhe LLM
- Licenca
- MIT
- Çmimi
- Falas
- Kodi burimor
- github.com/microsoft/Tokenizer
- Shkruar në
- C#
- Kërkon
- Windows 11 / 10
- Arkitektura
- 64-bit
- Instaluesi
- Portativ
- Versioni
- 1.3.3
- Publikuar
- 29 dhjetor 2025
- Shtuar në katalog
- 29 dhjetor 2025
- Versione në listë
- 1
- Yje në GitHub
- 212
- Forke në GitHub
- 36
- Faqja e internetit
- github.com
- ID winget
- Microsoft.Tokenizer
Vlerësime dhe komente
Ende nuk ka komente. Bëhuni i pari që e vlerësoni.
Alternativa për Tokenizer
Shiko të gjitha ›-
Me burim të hapur16,6 mijë ↓ -
Pronësor67,1 mijë ↓ -
Me burim të hapur17,1 mijë ↓ -
Me burim të hapur8,7 mijë ↓ -
Me burim të hapur3,3 mijë ↓ -
Me burim të hapur654 ↓ -
Me burim të hapur1,9 mijë ↓ -
Me burim të hapur14 mijë ↓
Pyetjet më të shpeshta
A është Tokenizer falas?
Po. Tokenizer është softuer me burim të hapur me licencën MIT.
A është i sigurt shkarkimi i Tokenizer?
Shkarkimi vjen nga github.com, që i përket botuesit; ExeAtlas nuk e ruan dhe nuk e ndryshon skedarin. Krahasoni hash-in SHA256 të tij me atë që tregohet këtu, ose hapni raportin e VirusTotal për këtë hash.
Si ta instaloj Tokenizer me winget?
Hapni PowerShell ose Windows Terminal dhe ekzekutoni komandën winget që tregohet në këtë faqe. winget shkarkon instaluesin zyrtar dhe kontrollon hash-in SHA256 para se ta ekzekutojë.
A funksionon Tokenizer në ARM (Windows on Arm)?
Nuk ka version ARM64; Windows 11 on Arm mund ta ekzekutojë versionin 64-bit përmes emulimit.
A mund ta përdor Tokenizer pa të drejta administratori?
Po, është portativ: e shpaketoni dhe e nisni.
Cilat janë alternativat e Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All dhe Jan. Faqja e alternativave i krahason.
