Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Naşirin təsviri (ingilis)
Tokenizer nədir?
Tokenizer Microsoft Corporation naşirinin buraxdığı açıq mənbəli Windows proqramıdır (si köməkçiləri və llm). Proqramlaşdırma dili: C#.
Quraşdırma və tələblər
Rəsmi quraşdırma faylları 64 bit Windows üçün Portativ formatında təqdim olunur. Quraşdırma olmadan işləyir (portativ).
Populyarlıq və fayl növləri
GitHub-dakı mənbə kodu (microsoft/Tokenizer) 212 ulduz toplayıb. Oxşar proqramlar: Codex CLI, Claude Code və ChatGPT.
GitHub-dakı layihə təsviri: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Üstünlüklər / Çatışmazlıqlar
Üstünlüklər
- Açıq mənbə: kodu hər kəs yoxlaya və yığa bilər
- Portativ: quraşdırma tələb etmir
Çatışmazlıqlar
- Yerli ARM64 versiyası yoxdur
Qısaca: Tokenizer 64 bit kompüterlər üçün açıq mənbəli alətdir (si köməkçiləri və llm).
Tokenizer proqramını yükləmək təhlükəsizdirmi?
- Fayl naşirin öz domenindən (github.com) gəlir
- Yükləmə keçidi HTTPS istifadə edir
- SHA256 heşi dərc olunub, faylı yoxlaya bilərsiniz:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Bu heş üçün VirusTotal hesabatını açın - Keçid hələ yoxlanılmayıb
- Mənbə kodu açıqdır
- ExeAtlas quraşdırma fayllarını saxlamır, bükmür və dəyişmir
Əlaqəli təlimat: Windows-da faylın SHA256 heşini necə yoxlamaq olar
Son versiyalar
Bütün 1 versiya ›| Versiya | Tarix | Ölçü | Fayllar |
|---|---|---|---|
| 1.3.3Son versiya | 29 dekabr 2025 | — | 64 bit ZIP |
Əmr sətrindən quraşdırma
Səssiz quraşdırma ›winget install --id Microsoft.Tokenizer -eƏlaqəli təlimat: winget necə istifadə olunur: quraşdırma və yeniləmə
Məlumat
- Naşir
- Microsoft Corporation
- Kateqoriya
- Sİ köməkçiləri və LLM
- Lisenziya
- MIT
- Qiymət
- Pulsuz
- Mənbə kodu
- github.com/microsoft/Tokenizer
- Proqramlaşdırma dili
- C#
- Tələb
- Windows 11 / 10
- Arxitektura
- 64 bit
- Quraşdırma növü
- Portativ
- Versiya
- 1.3.3
- Buraxılış tarixi
- 29 dekabr 2025
- Kataloqa əlavə olunub
- 29 dekabr 2025
- Qeydə alınmış versiya
- 1
- GitHub ulduzu
- 212
- GitHub fork
- 36
- Rəsmi sayt
- github.com
- winget ID
- Microsoft.Tokenizer
Qiymətlər və rəylər
Hələ rəy yoxdur. İlk qiyməti siz verin.
Tokenizer alternativləri
Hamısına bax ›-
Açıq mənbə16,6K ↓ -
Qapalı kod67,1K ↓ -
Açıq mənbə17,1K ↓ -
Açıq mənbə8,7K ↓ -
Açıq mənbə3,3K ↓ -
Açıq mənbə654 ↓ -
Açıq mənbə1,9K ↓ -
Açıq mənbə14K ↓
Tez-tez verilən suallar
Tokenizer pulsuzdurmu?
Bəli. Tokenizer açıq mənbəli proqramdır (MIT lisenziyası).
Tokenizer proqramını yükləmək təhlükəsizdirmi?
Fayl github.com ünvanından yüklənir; bu ünvan naşirə məxsusdur. ExeAtlas faylı saxlamır və dəyişmir. Yüklədiyiniz faylın SHA256 heşini burada göstərilənlə müqayisə edə və ya bu heş üçün VirusTotal hesabatını aça bilərsiniz.
Tokenizer proqramı winget ilə necə quraşdırılır?
PowerShell və ya Windows Terminal açın və bu səhifədəki winget əmrini işə salın. winget rəsmi quraşdırma faylını yükləyir və işə salmazdan əvvəl SHA256 heşini yoxlayır.
Tokenizer ARM prosessorda (Windows on Arm) işləyirmi?
ARM64 versiyası yoxdur; Windows 11 on Arm 64 bit versiyasını emulyasiya ilə işə sala bilər.
Tokenizer proqramından administrator hüquqları olmadan istifadə etmək olarmı?
Bəli, portativdir: arxivdən çıxarıb işə salmaq kifayətdir.
Tokenizer alternativləri hansılardır?
Codex CLI, Claude Code, ChatGPT, GPT4All və Jan. Alternativlər səhifəsi onları müqayisə edir.
