Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Yayıncının açıklaması (İngilizce)
Tokenizer nedir?
Tokenizer, Microsoft Corporation tarafından yayımlanan açık kaynaklı bir Windows programıdır (yapay zekâ asistanları ve llm). Programlama dili: C#.
Kurulum ve gereksinimler
Resmî kurulum dosyaları 64 bit Windows için Taşınabilir biçiminde sunuluyor. Kurulum gerektirmeden çalışır (taşınabilir).
Popülerlik ve dosya türleri
GitHub'daki kaynak kodu (microsoft/Tokenizer) 212 yıldız almış. Benzer programlar arasında Codex CLI, Claude Code ve ChatGPT bulunuyor.
GitHub’daki proje açıklaması: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Artılar / Eksiler
Artılar
- Açık kaynak: kodu herkes inceleyebilir ve derleyebilir
- Taşınabilir: kurulum gerektirmez
Eksiler
- Yerel ARM64 sürümü yok
Kısaca: Tokenizer, 64 bit bilgisayarlar için açık kaynaklı bir yapay zekâ asistanları ve llm aracı.
Tokenizer indirmek güvenli mi?
- Dosya yayıncının kendi alan adından (github.com) geliyor
- İndirme bağlantısı HTTPS kullanıyor
- SHA256 değeri yayımlanmış; dosyayı doğrulayabilirsiniz:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Bu hash için VirusTotal raporunu açın - Bağlantı henüz kontrol edilmedi
- Kaynak kodu herkese açık
- ExeAtlas kurulum dosyalarını barındırmaz, sarmalamaz, değiştirmez
İlgili rehber: Windows’ta bir dosyanın SHA256 özeti nasıl doğrulanır
Son sürümler
1 sürümün tümü ›| Sürüm | Tarih | Boyut | Dosyalar |
|---|---|---|---|
| 1.3.3Güncel | 29 Aralık 2025 | — | 64 bit ZIP |
Komut satırından kurulum
Sessiz kurulum ›winget install --id Microsoft.Tokenizer -eİlgili rehber: winget nasıl kullanılır: program kurma ve güncelleme
Bilgiler
- Yayıncı
- Microsoft Corporation
- Kategori
- Yapay zekâ asistanları ve LLM
- Lisans
- MIT
- Fiyat
- Ücretsiz
- Kaynak kodu
- github.com/microsoft/Tokenizer
- Yazıldığı dil
- C#
- Gereksinim
- Windows 11 / 10
- Mimari
- 64 bit
- Kurulum türü
- Taşınabilir
- Sürüm
- 1.3.3
- Çıkış tarihi
- 29 Aralık 2025
- Kataloğa eklenme
- 29 Aralık 2025
- Kayıtlı sürüm
- 1
- GitHub yıldızı
- 212
- GitHub fork
- 36
- Resmî site
- github.com
- winget kimliği
- Microsoft.Tokenizer
Puanlar ve yorumlar
Henüz yorum yok. İlk puanı siz verin.
Tokenizer alternatifleri
Tümünü gör ›-
Açık kaynak16,6 B ↓ -
Tescilli67,1 B ↓ -
Açık kaynak17,1 B ↓ -
Açık kaynak8,7 B ↓ -
Açık kaynak3,3 B ↓ -
Açık kaynak654 ↓ -
Açık kaynak1,9 B ↓ -
Açık kaynak14 B ↓
Sıkça sorulan sorular
Tokenizer ücretsiz mi?
Evet. Tokenizer açık kaynaklı bir programdır (MIT lisansı).
Tokenizer indirmek güvenli mi?
İndirme github.com adresinden gelir; bu adres yayıncıya ait. ExeAtlas dosyayı barındırmaz ve değiştirmez. İndirdiğiniz dosyanın SHA256 değerini burada gösterilenle karşılaştırabilir ya da bu hash için VirusTotal raporunu açabilirsiniz.
Tokenizer winget ile nasıl kurulur?
PowerShell ya da Windows Terminal açıp bu sayfadaki winget komutunu çalıştırın. winget resmî kurulum dosyasını indirir ve çalıştırmadan önce SHA256 değerini doğrular.
Tokenizer ARM işlemcide (Windows on Arm) çalışır mı?
ARM64 sürümü yok; Windows 11 on Arm, 64 bit sürümünü öykünmeyle çalıştırabilir.
Tokenizer yönetici izni olmadan kullanılabilir mi?
Evet, taşınabilir: arşivden çıkarıp çalıştırmanız yeterli.
Tokenizer alternatifleri nelerdir?
Codex CLI, Claude Code, ChatGPT, GPT4All ve Jan. Alternatifler sayfası bunları karşılaştırıyor.
