Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Description de l’éditeur (anglais)
Tokenizer : présentation
Tokenizer est un logiciel open source pour Windows édité par Microsoft Corporation, classé dans la catégorie « Assistants IA et LLM ». Il est développé en C#.
Installation et configuration requise
Des installateurs officiels existent pour Windows 64 bits, au format Portable. Il fonctionne sans installation (version portable).
Popularité et types de fichiers
Le code source publié sur GitHub (microsoft/Tokenizer) compte 212 étoiles. Parmi les logiciels comparables figurent Codex CLI, Claude Code et ChatGPT.
Description du projet sur GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Points forts / Points faibles
Points forts
- Open source : chacun peut examiner et compiler le code
- Portable : fonctionne sans installation
Points faibles
- Pas de version ARM64 native
En résumé: Tokenizer est un logiciel open source de la catégorie « Assistants IA et LLM », proposé pour les PC 64 bits.
Tokenizer : le téléchargement est-il sûr ?
- Le fichier est servi par github.com, le domaine de l’éditeur
- Le lien de téléchargement utilise HTTPS
- Une empreinte SHA256 est publiée : le fichier peut être vérifié:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Ouvrir le rapport VirusTotal de cette empreinte - Le lien n’a pas encore été vérifié
- Le code source est public
- ExeAtlas n’héberge, n’emballe ni ne modifie aucun installateur
Guide associé: Vérifier l’empreinte SHA256 d’un fichier sous Windows
Versions récentes
Toutes les versions (1) ›| Version | Date | Taille | Fichiers |
|---|---|---|---|
| 1.3.3Dernière | 29 décembre 2025 | — | 64 bits ZIP |
Installer en ligne de commande
Installation silencieuse ›winget install --id Microsoft.Tokenizer -eGuide associé: Utiliser winget : installer et mettre à jour
Informations
- Éditeur
- Microsoft Corporation
- Catégorie
- Assistants IA et LLM
- Licence
- MIT
- Prix
- Gratuit
- Code source
- github.com/microsoft/Tokenizer
- Langage
- C#
- Configuration requise
- Windows 11 / 10
- Architecture
- 64 bits
- Installateur
- Portable
- Version
- 1.3.3
- Date de sortie
- 29 décembre 2025
- Ajouté au catalogue
- 29 décembre 2025
- Versions répertoriées
- 1
- Étoiles GitHub
- 212
- Forks GitHub
- 36
- Site officiel
- github.com
- Identifiant winget
- Microsoft.Tokenizer
Notes et avis
Aucun avis pour l’instant. Soyez le premier à noter ce logiciel.
Alternatives à Tokenizer
Tout voir ›-
Open source16,6 k ↓ -
Propriétaire67,1 k ↓ -
Open source17,1 k ↓ -
Open source8,7 k ↓ -
Open source3,3 k ↓ -
Open source654 ↓ -
Open source1,9 k ↓ -
Open source14 k ↓
Questions fréquentes
Tokenizer est-il gratuit ?
Oui. Tokenizer est un logiciel open source distribué sous licence MIT.
Tokenizer : le téléchargement est-il sûr ?
Le fichier est servi par github.com, un domaine qui appartient à l’éditeur ; ExeAtlas n’héberge pas le fichier et ne le modifie pas. Comparez son empreinte SHA256 avec celle affichée ici, ou ouvrez le rapport VirusTotal de cette empreinte.
Comment installer Tokenizer avec winget ?
Ouvrez PowerShell ou le Terminal Windows et exécutez la commande winget indiquée sur cette page. winget télécharge l’installateur officiel et vérifie son empreinte SHA256 avant de le lancer.
Tokenizer fonctionne-t-il sur ARM (Windows on Arm) ?
Il n’existe pas de version ARM64 ; Windows 11 sur Arm peut exécuter la version 64 bits par émulation.
Peut-on utiliser Tokenizer sans droits d’administrateur ?
Oui, il s’agit d’une version portable : il suffit de la décompresser et de la lancer.
Quelles sont les alternatives à Tokenizer ?
Codex CLI, Claude Code, ChatGPT, GPT4All et Jan. La page des alternatives les compare.
