Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Descrizione del produttore (inglese)
Cos’è Tokenizer?
Tokenizer è un programma open source per Windows di Microsoft Corporation, nella categoria Assistenti IA e LLM. È scritto in C#.
Installazione e requisiti
I file di installazione ufficiali sono disponibili per Windows 64 bit in formato Portable. Funziona senza installazione (versione portable).
Popolarità e tipi di file
Il codice sorgente su GitHub (microsoft/Tokenizer) ha 212 stelle. Tra i programmi simili ci sono Codex CLI, Claude Code e ChatGPT.
Descrizione del progetto su GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Pro / Contro
Pro
- Open source: chiunque può esaminare e compilare il codice
- Portable: funziona senza installazione
Contro
- Nessuna versione ARM64 nativa
In breve: Tokenizer è un programma open source per Windows della categoria Assistenti IA e LLM, per PC 64 bit.
Scaricare Tokenizer è sicuro?
- Il file è fornito da github.com, il dominio del produttore
- Il link di download usa HTTPS
- L’hash SHA256 è pubblicato: il file si può verificare:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Apri il rapporto VirusTotal di questo hash - Il link non è ancora stato controllato
- Il codice sorgente è pubblico
- ExeAtlas non ospita, non incapsula e non modifica gli installer
Guida correlata: Come verificare l’hash SHA256 di un file su Windows
Versioni recenti
Tutte le versioni (1) ›| Versione | Data | Dimensione | File |
|---|---|---|---|
| 1.3.3Ultima | 29 dicembre 2025 | — | 64 bit ZIP |
Installazione da riga di comando
Installazione silenziosa ›winget install --id Microsoft.Tokenizer -eGuida correlata: Come usare winget: installare e aggiornare app
Informazioni
- Produttore
- Microsoft Corporation
- Categoria
- Assistenti IA e LLM
- Licenza
- MIT
- Prezzo
- Gratis
- Codice sorgente
- github.com/microsoft/Tokenizer
- Linguaggio
- C#
- Requisiti
- Windows 11 / 10
- Architettura
- 64 bit
- Installer
- Portable
- Versione
- 1.3.3
- Data di rilascio
- 29 dicembre 2025
- Aggiunto al catalogo
- 29 dicembre 2025
- Versioni elencate
- 1
- Stelle su GitHub
- 212
- Fork su GitHub
- 36
- Sito ufficiale
- github.com
- ID winget
- Microsoft.Tokenizer
Valutazioni e recensioni
Ancora nessuna recensione.
Alternative a Tokenizer
Vedi tutti ›-
Open source16,6K ↓ -
Proprietario67,1K ↓ -
Open source17,1K ↓ -
Open source8,7K ↓ -
Open source3,3K ↓ -
Open source654 ↓ -
Open source1,9K ↓ -
Open source14K ↓
Domande frequenti
Tokenizer è gratis?
Sì. Tokenizer è un software open source con licenza MIT.
Scaricare Tokenizer è sicuro?
Il file viene scaricato da github.com, un dominio che appartiene al produttore; ExeAtlas non ospita né modifica il file. Si può confrontare il suo hash SHA256 con quello indicato qui oppure aprire il rapporto VirusTotal di quell’hash.
Come si installa Tokenizer con winget?
Basta aprire PowerShell o Windows Terminal ed eseguire il comando winget riportato in questa pagina. winget scarica l’installer ufficiale e ne verifica l’hash SHA256 prima di avviarlo.
Tokenizer funziona su ARM (Windows on Arm)?
Non esiste una versione ARM64; Windows 11 su Arm può eseguire la versione 64 bit tramite emulazione.
Tokenizer si può usare senza diritti di amministratore?
Sì, è portable: basta estrarre l’archivio e avviare il programma.
Quali sono le alternative a Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All e Jan. La pagina delle alternative le mette a confronto.
