Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Descripció del desenvolupador (anglès)
Què és Tokenizer?
Tokenizer és un programa de codi obert per a Windows de la categoria Assistents d’IA i LLM, publicat per Microsoft Corporation. Està escrit en C#.
Instal·lació i requisits
Hi ha instal·ladors oficials per a 64 bits en format Portable. Funciona sense instal·lació (versió portable).
Popularitat i tipus de fitxer
El codi font a GitHub (microsoft/Tokenizer) té 212 estrelles. Entre els programes semblants hi ha Codex CLI, Claude Code i ChatGPT.
Descripció del projecte a GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Avantatges / Inconvenients
Avantatges
- Codi obert: qualsevol persona pot revisar i compilar el codi
- Portable: funciona sense instal·lar-lo
Inconvenients
- Sense versió nativa per a ARM64
En resum: Tokenizer és un programa de codi obert de la categoria Assistents d’IA i LLM, disponible per a ordinadors de 64 bits.
És segur baixar Tokenizer?
- El fitxer se serveix des de github.com, el domini del mateix desenvolupador
- L’enllaç de baixada fa servir HTTPS
- Hi ha un hash SHA256 publicat per verificar el fitxer:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Obre l’informe de VirusTotal d’aquest hash - L’enllaç encara no s’ha comprovat
- El codi font és públic
- ExeAtlas no allotja, no embolcalla ni modifica instal·ladors
Guia relacionada: Com comprovar el hash SHA256 d’un fitxer a Windows
Versions recents
Una sola versió ›| Versió | Data | Mida | Fitxers |
|---|---|---|---|
| 1.3.3Darrera | 29 de desembre del 2025 | — | 64 bits ZIP |
Instal·lar des de la línia d’ordres
Instal·lació silenciosa ›winget install --id Microsoft.Tokenizer -eGuia relacionada: Com utilitzar winget: instal·lar i actualitzar
Informació
- Desenvolupador
- Microsoft Corporation
- Categoria
- Assistents d’IA i LLM
- Llicència
- MIT
- Preu
- Gratuït
- Codi font
- github.com/microsoft/Tokenizer
- Llenguatge
- C#
- Requisits
- Windows 11 / 10
- Arquitectura
- 64 bits
- Instal·lador
- Portable
- Versió
- 1.3.3
- Data de publicació
- 29 de desembre del 2025
- Afegit al catàleg
- 29 de desembre del 2025
- Versions registrades
- 1
- Estrelles a GitHub
- 212
- Bifurcacions a GitHub
- 36
- Lloc web
- github.com
- ID de winget
- Microsoft.Tokenizer
Valoracions i opinions
Encara no hi ha cap opinió.
Alternatives a Tokenizer
Mostra-ho tot ›-
Codi obert16,6 k ↓ -
Propietari67,1 k ↓ -
Codi obert17,1 k ↓ -
Codi obert8,7 k ↓ -
Codi obert3,3 k ↓ -
Codi obert654 ↓ -
Codi obert1,9 k ↓ -
Codi obert14 k ↓
Preguntes freqüents
Tokenizer és gratuït?
Sí. Tokenizer és programari de codi obert amb llicència MIT.
És segur baixar Tokenizer?
La baixada prové de github.com, un domini del mateix desenvolupador. ExeAtlas no allotja ni modifica el fitxer. Se’n pot comparar el hash SHA256 amb el que apareix aquí o obrir l’informe de VirusTotal d’aquest hash.
Com s’instal·la Tokenizer amb winget?
Només cal obrir PowerShell o el Terminal del Windows i executar l’ordre winget que figura en aquesta pàgina. winget baixa l’instal·lador oficial i en comprova el hash SHA256 abans d’executar-lo.
Tokenizer funciona en ARM (Windows on Arm)?
No hi ha versió per a ARM64; Windows 11 on Arm pot executar la versió de 64 bits per emulació.
Es pot fer servir Tokenizer sense permisos d’administrador?
Sí, és portable: només cal descomprimir-lo i executar-lo.
Quines alternatives hi ha a Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All i Jan. La pàgina d’alternatives els compara.
