Aquí figuran 1 versiones de Tokenizer, desde 29 de diciembre de 2025 hasta la actual, 1.3.3. Cada una enlaza con los instaladores del propio desarrollador.
| Versión | Fecha | Tamaño | Archivos |
|---|---|---|---|
| 1.3.3Última versión | 29 de diciembre de 2025 | — | 64 bits ZIP |
Tokenizer: descargar versiones anteriores
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LicenciaCódigo abierto
- Versión1.3.3
- RequisitosWindows 10, 11
- Fecha de publicación29 de diciembre de 2025
- Estrellas en GitHub★ 212
Lo más popular en Asistentes de IA y LLM
Ver todo-
Claude CodeAsistentes de IA y LLM · Anthropic PBC -
Codex CLIAsistentes de IA y LLM · OpenAI, Inc. -
ChatGPTAsistentes de IA y LLM · lencx -
GPT4AllAsistentes de IA y LLM · Nomic -
JanAsistentes de IA y LLM · Jan -
WSL ManagerAsistentes de IA y LLM · Bostrot -
oh-my-piAsistentes de IA y LLM · Can Bölük -
T3 CodeAsistentes de IA y LLM · T3 Tools -
CC SwitchAsistentes de IA y LLM · farion1231 -
LobeHubAsistentes de IA y LLM · LobeHub
Más programas de Microsoft Corporation
Ver todo
PowerShellTerminales y línea de comandos · Microsoft Corporation
PowerToysPersonalización · Microsoft Corporation
NuGetGestores de paquetes y actualizadores · Microsoft Corporation
Microsoft Azure CLITerminales y línea de comandos · Microsoft Corporation
OpenSSH PreviewFTP y transferencia de archivos · Microsoft Corporation
Bicep CLILenguajes y SDK · Microsoft Corporation