Estão listadas 1 versões de Tokenizer, de 29 de dezembro de 2025 até a atual, 1.3.3. Cada uma aponta para os instaladores do próprio desenvolvedor.
| Versão | Data | Tamanho | Arquivos |
|---|---|---|---|
| 1.3.3Última versão | 29 de dezembro de 2025 | — | 64 bits ZIP |
Tokenizer: baixar versões antigas
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LicençaCódigo aberto
- Versão1.3.3
- RequisitosWindows 10, 11
- Lançamento29 de dezembro de 2025
- Estrelas no GitHub★ 212
Mais popular em Assistentes de IA e LLMs
Ver tudo-
Claude CodeAssistentes de IA e LLMs · Anthropic PBC -
Codex CLIAssistentes de IA e LLMs · OpenAI, Inc. -
ChatGPTAssistentes de IA e LLMs · lencx -
GPT4AllAssistentes de IA e LLMs · Nomic -
JanAssistentes de IA e LLMs · Jan -
WSL ManagerAssistentes de IA e LLMs · Bostrot -
oh-my-piAssistentes de IA e LLMs · Can Bölük -
T3 CodeAssistentes de IA e LLMs · T3 Tools -
CC SwitchAssistentes de IA e LLMs · farion1231 -
LobeHubAssistentes de IA e LLMs · LobeHub
Mais programas de Microsoft Corporation
Ver tudo
PowerShellTerminais e linha de comando · Microsoft Corporation
PowerToysPersonalização · Microsoft Corporation
NuGetGerenciadores de pacotes e atualizadores · Microsoft Corporation
Microsoft Azure CLITerminais e linha de comando · Microsoft Corporation
OpenSSH PreviewFTP e transferência de arquivos · Microsoft Corporation
Bicep CLILinguagens e SDKs · Microsoft Corporation