Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Deskripsi dari penerbit (Inggris)
Apa itu Tokenizer?
Tokenizer adalah program Windows open source dalam kategori Asisten AI & LLM dari Microsoft Corporation. Program ini ditulis dengan C#.
Instalasi dan persyaratan sistem
Installer resmi tersedia untuk Windows 64-bit dalam format Portabel. Program ini bisa dijalankan tanpa instalasi (portabel).
Popularitas dan jenis file
Kode sumbernya di GitHub (microsoft/Tokenizer) mendapat 212 bintang. Program serupa antara lain Codex CLI, Claude Code dan ChatGPT.
Deskripsi proyek di GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Kelebihan / Kekurangan
Kelebihan
- Open source: kodenya bisa diperiksa dan dikompilasi siapa saja
- Portabel: berjalan tanpa instalasi
Kekurangan
- Tidak ada versi ARM64 native
Singkatnya: Tokenizer adalah aplikasi kategori Asisten AI & LLM yang open source untuk PC 64-bit.
Apakah Tokenizer aman diunduh?
- File disediakan oleh github.com, domain milik penerbit
- Tautan download menggunakan HTTPS
- Hash SHA256 tersedia, sehingga file bisa diverifikasi:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Buka laporan VirusTotal untuk hash ini - Tautan belum dicek
- Kode sumbernya terbuka untuk umum
- ExeAtlas tidak menyimpan, membungkus, atau mengubah installer
Panduan terkait: Cara cek hash SHA256 file di Windows
Rilis terakhir
Semua 1 versi ›| Versi | Tanggal | Ukuran | File |
|---|---|---|---|
| 1.3.3Terbaru | 29 Desember 2025 | — | 64-bit ZIP |
Instalasi lewat command line
Instalasi senyap ›winget install --id Microsoft.Tokenizer -ePanduan terkait: Cara pakai winget: instal dan update aplikasi
Informasi
- Penerbit
- Microsoft Corporation
- Kategori
- Asisten AI & LLM
- Lisensi
- MIT
- Harga
- Gratis
- Kode sumber
- github.com/microsoft/Tokenizer
- Bahasa pemrograman
- C#
- Persyaratan
- Windows 11 / 10
- Arsitektur
- 64-bit
- Installer
- Portabel
- Versi
- 1.3.3
- Tanggal rilis
- 29 Desember 2025
- Masuk katalog
- 29 Desember 2025
- Versi tercatat
- 1
- Bintang GitHub
- 212
- Fork GitHub
- 36
- Situs web
- github.com
- ID winget
- Microsoft.Tokenizer
Rating dan ulasan
Belum ada ulasan. Jadilah yang pertama memberi rating.
Alternatif Tokenizer
Lihat semua ›-
Open source16,6 rb ↓ -
Proprietary67,1 rb ↓ -
Open source17,1 rb ↓ -
Open source8,7 rb ↓ -
Open source3,3 rb ↓ -
Open source654 ↓ -
Open source1,9 rb ↓ -
Open source14 rb ↓
Pertanyaan yang sering diajukan
Apakah Tokenizer gratis?
Ya. Tokenizer adalah software open source berlisensi MIT.
Apakah Tokenizer aman diunduh?
File download berasal dari github.com, domain milik penerbit; ExeAtlas tidak menyimpan atau mengubah file tersebut. Cocokkan hash SHA256 file tersebut dengan yang tertera di sini, atau buka laporan VirusTotal untuk hash itu.
Bagaimana cara menginstal Tokenizer dengan winget?
Buka PowerShell atau Windows Terminal, lalu jalankan perintah winget yang tertera di halaman ini. winget mengunduh installer resmi dan memeriksa hash SHA256-nya sebelum menjalankannya.
Apakah Tokenizer bisa berjalan di prosesor ARM (Windows on Arm)?
Tidak ada versi ARM64; Windows 11 on Arm dapat menjalankan versi 64-bit melalui emulasi.
Apakah Tokenizer bisa dipakai tanpa hak administrator?
Ya, program ini portabel: cukup ekstrak lalu jalankan.
Apa saja alternatif Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All dan Jan. Halaman alternatif membandingkan semuanya.
