Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Penerangan daripada penerbit (Inggeris)
Apakah itu Tokenizer?
Tokenizer ialah perisian Windows sumber terbuka dalam kategori Pembantu AI & LLM yang diterbitkan oleh Microsoft Corporation. Program ini ditulis dalam C#.
Pemasangan dan keperluan sistem
Pemasang rasmi disediakan untuk Windows 64-bit dalam format Mudah alih. Ia boleh dijalankan tanpa dipasang (versi mudah alih).
Populariti dan jenis fail
Kod sumbernya di GitHub (microsoft/Tokenizer) mempunyai 212 bintang. Antara program yang serupa ialah Codex CLI, Claude Code dan ChatGPT.
Penerangan projek di GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Kelebihan / Kekurangan
Kelebihan
- Sumber terbuka: kodnya boleh disemak dan dibina oleh sesiapa sahaja
- Mudah alih: berjalan tanpa pemasangan
Kekurangan
- Tiada binaan ARM64 asli
Ringkasnya: Tokenizer ialah alat dalam kategori Pembantu AI & LLM yang sumber terbuka untuk PC 64-bit.
Adakah Tokenizer selamat dimuat turun?
- Fail disediakan oleh github.com, domain milik penerbit sendiri
- Pautan muat turun menggunakan HTTPS
- Hash SHA256 diterbitkan, jadi anda boleh mengesahkan fail:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Buka laporan VirusTotal untuk hash ini - Pautan belum disemak
- Kod sumbernya terbuka kepada umum
- ExeAtlas tidak menyimpan, membalut atau mengubah suai pemasang
Panduan berkaitan: Cara semak hash SHA256 fail di Windows
Versi terkini
Kesemua 1 versi ›| Versi | Tarikh | Saiz | Fail |
|---|---|---|---|
| 1.3.3Terkini | 29 Disember 2025 | — | 64-bit ZIP |
Pasang melalui baris arahan
Pemasangan senyap ›winget install --id Microsoft.Tokenizer -ePanduan berkaitan: Cara guna winget: pasang dan kemas kini aplikasi
Maklumat
- Penerbit
- Microsoft Corporation
- Kategori
- Pembantu AI & LLM
- Lesen
- MIT
- Harga
- Percuma
- Kod sumber
- github.com/microsoft/Tokenizer
- Ditulis dalam
- C#
- Keperluan
- Windows 11 / 10
- Seni bina
- 64-bit
- Pemasang
- Mudah alih
- Versi
- 1.3.3
- Dikeluarkan
- 29 Disember 2025
- Ditambah ke katalog
- 29 Disember 2025
- Versi yang disenaraikan
- 1
- Bintang GitHub
- 212
- Fork GitHub
- 36
- Laman web
- github.com
- ID winget
- Microsoft.Tokenizer
Penarafan dan ulasan
Belum ada ulasan. Jadilah yang pertama menilainya.
Alternatif kepada Tokenizer
Lihat semua ›-
Sumber terbuka16.6K ↓ -
Proprietari67.1K ↓ -
Sumber terbuka17.1K ↓ -
Sumber terbuka8.7K ↓ -
Sumber terbuka3.3K ↓ -
Sumber terbuka654 ↓ -
Sumber terbuka1.9K ↓ -
Sumber terbuka14K ↓
Soalan lazim
Adakah Tokenizer percuma?
Ya. Tokenizer ialah perisian sumber terbuka di bawah lesen MIT.
Adakah Tokenizer selamat dimuat turun?
Fail dimuat turun daripada github.com, yang dimiliki oleh penerbit; ExeAtlas tidak menyimpan atau mengubah fail tersebut. Bandingkan hash SHA256nya dengan yang dipaparkan di sini, atau buka laporan VirusTotal bagi hash itu.
Bagaimanakah cara memasang Tokenizer dengan winget?
Buka PowerShell atau Windows Terminal dan jalankan arahan winget yang dipaparkan di halaman ini. winget memuat turun pemasang rasmi dan menyemak hash SHA256nya sebelum menjalankannya.
Bolehkah Tokenizer berjalan di ARM (Windows on Arm)?
Tiada binaan ARM64; Windows 11 on Arm boleh menjalankan versi 64-bit melalui emulasi.
Bolehkah saya menggunakan Tokenizer tanpa hak pentadbir?
Ya, ia mudah alih: ekstrak dan jalankan sahaja.
Apakah alternatif kepada Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All dan Jan. Halaman alternatif membandingkan kesemuanya.
