Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Descripción del desarrollador (inglés)
¿Qué es Tokenizer?
Tokenizer es un programa de código abierto para Windows de la categoría Asistentes de IA y LLM, publicado por Microsoft Corporation. Está escrito en C#.
Instalación y requisitos
Hay instaladores oficiales para 64 bits en formato Portable. Funciona sin instalación (versión portable).
Popularidad y tipos de archivo
El código fuente en GitHub (microsoft/Tokenizer) tiene 212 estrellas. Entre los programas similares figuran Codex CLI, Claude Code y ChatGPT.
Descripción del proyecto en GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Ventajas / Inconvenientes
Ventajas
- Código abierto: cualquiera puede revisar y compilar el código
- Portable: funciona sin instalar
Inconvenientes
- Sin versión nativa para ARM64
En resumen: Tokenizer es un programa de código abierto de la categoría Asistentes de IA y LLM, disponible para equipos de 64 bits.
¿Es seguro descargar Tokenizer?
- El archivo se sirve desde github.com, el dominio del propio desarrollador
- El enlace de descarga usa HTTPS
- Hay un hash SHA256 publicado para verificar el archivo:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Abrir el informe de VirusTotal de este hash - El enlace aún no se ha comprobado
- El código fuente es público
- ExeAtlas no aloja, envuelve ni modifica instaladores
Guía relacionada: Cómo comprobar el hash SHA256 de un archivo en Windows
Versiones recientes
Las 1 versiones ›| Versión | Fecha | Tamaño | Archivos |
|---|---|---|---|
| 1.3.3Última | 29 de diciembre de 2025 | — | 64 bits ZIP |
Instalar desde la línea de comandos
Instalación silenciosa ›winget install --id Microsoft.Tokenizer -eGuía relacionada: Cómo usar winget: instalar y actualizar programas
Información
- Desarrollador
- Microsoft Corporation
- Categoría
- Asistentes de IA y LLM
- Licencia
- MIT
- Precio
- Gratis
- Código fuente
- github.com/microsoft/Tokenizer
- Lenguaje
- C#
- Requisitos
- Windows 11 / 10
- Arquitectura
- 64 bits
- Instalador
- Portable
- Versión
- 1.3.3
- Fecha de publicación
- 29 de diciembre de 2025
- Añadido al catálogo
- 29 de diciembre de 2025
- Versiones registradas
- 1
- Estrellas en GitHub
- 212
- Forks en GitHub
- 36
- Sitio web
- github.com
- ID de winget
- Microsoft.Tokenizer
Valoraciones y opiniones
Todavía no hay opiniones.
Alternativas a Tokenizer
Ver todo ›-
Código abierto16,6 mil ↓ -
Propietario67,1 mil ↓ -
Código abierto17,1 mil ↓ -
Código abierto8,7 mil ↓ -
Código abierto3,3 mil ↓ -
Código abierto654 ↓ -
Código abierto1,9 mil ↓ -
Código abierto14 mil ↓
Preguntas frecuentes
¿Es gratis Tokenizer?
Sí. Tokenizer es software de código abierto con licencia MIT.
¿Es seguro descargar Tokenizer?
La descarga procede de github.com, un dominio del propio desarrollador. ExeAtlas no aloja ni modifica el archivo. Se puede comparar su hash SHA256 con el que aparece aquí o abrir el informe de VirusTotal de ese hash.
¿Cómo instalar Tokenizer con winget?
Basta con abrir PowerShell o Terminal Windows y ejecutar el comando winget que figura en esta página. winget descarga el instalador oficial y comprueba su hash SHA256 antes de ejecutarlo.
¿Funciona Tokenizer en ARM (Windows on Arm)?
No hay versión para ARM64; Windows 11 on Arm puede ejecutar la versión de 64 bits mediante emulación.
¿Se puede usar Tokenizer sin permisos de administrador?
Sí, es portable: basta con descomprimirlo y ejecutarlo.
¿Qué alternativas hay a Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All y Jan. La página de alternativas los compara.
