Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Descrição do desenvolvedor (inglês)
O que é Tokenizer?
Tokenizer é um programa de código aberto para Windows da categoria Assistentes de IA e LLMs, publicado por Microsoft Corporation. Foi escrito em C#.
Instalação e requisitos
Há instaladores oficiais para 64 bits no formato Portátil. Roda sem instalação (versão portátil).
Popularidade e tipos de arquivo
O código-fonte no GitHub (microsoft/Tokenizer) tem 212 estrelas. Entre os programas parecidos estão Codex CLI, Claude Code e ChatGPT.
Descrição do projeto no GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Pontos positivos / Pontos negativos
Pontos positivos
- Código aberto: qualquer pessoa pode revisar e compilar o código
- Portátil: roda sem instalar
Pontos negativos
- Sem versão nativa ARM64
Em resumo: Tokenizer é um programa de código aberto da categoria Assistentes de IA e LLMs, disponível para PCs 64 bits.
É seguro baixar Tokenizer?
- O arquivo vem de github.com, o domínio do próprio desenvolvedor
- O link de download usa HTTPS
- Há um hash SHA256 publicado para você verificar o arquivo:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Abrir o relatório do VirusTotal para este hash - O link ainda não foi verificado
- O código-fonte é público
- O ExeAtlas não hospeda, encapsula nem modifica instaladores
Guia relacionado: Como verificar o hash SHA256 de um arquivo no Windows
Versões recentes
Todas as 1 versões ›| Versão | Data | Tamanho | Arquivos |
|---|---|---|---|
| 1.3.3Atual | 29 de dezembro de 2025 | — | 64 bits ZIP |
Instalar pela linha de comando
Instalação silenciosa ›winget install --id Microsoft.Tokenizer -eGuia relacionado: Como usar o winget: instalar e atualizar programas
Informações
- Desenvolvedor
- Microsoft Corporation
- Categoria
- Assistentes de IA e LLMs
- Licença
- MIT
- Preço
- Grátis
- Código-fonte
- github.com/microsoft/Tokenizer
- Linguagem
- C#
- Requisitos
- Windows 11 / 10
- Arquitetura
- 64 bits
- Instalador
- Portátil
- Versão
- 1.3.3
- Lançamento
- 29 de dezembro de 2025
- Adicionado ao catálogo
- 29 de dezembro de 2025
- Versões registradas
- 1
- Estrelas no GitHub
- 212
- Forks no GitHub
- 36
- Site oficial
- github.com
- ID do winget
- Microsoft.Tokenizer
Avaliações
Ainda não há avaliações. Seja o primeiro a dar uma nota.
Alternativas para Tokenizer
Ver tudo ›-
Código aberto16,6 mil ↓ -
Proprietário67,1 mil ↓ -
Código aberto17,1 mil ↓ -
Código aberto8,7 mil ↓ -
Código aberto3,3 mil ↓ -
Código aberto654 ↓ -
Código aberto1,9 mil ↓ -
Código aberto14 mil ↓
Perguntas frequentes
Tokenizer é grátis?
Sim. Tokenizer é um software de código aberto com licença MIT.
É seguro baixar Tokenizer?
O download vem de github.com, um domínio do próprio desenvolvedor. O ExeAtlas não hospeda nem altera o arquivo. Você pode comparar o hash SHA256 do arquivo com o que aparece aqui ou abrir o relatório do VirusTotal para esse hash.
Como instalar Tokenizer pelo winget?
Abra o PowerShell ou o Terminal do Windows e rode o comando winget mostrado nesta página. O winget baixa o instalador oficial e confere o hash SHA256 antes de executá-lo.
Tokenizer roda em ARM (Windows on Arm)?
Não há versão ARM64; o Windows 11 on Arm consegue rodar a versão 64 bits por emulação.
Dá para usar Tokenizer sem permissão de administrador?
Sim, é portátil: basta extrair e executar.
Quais são as alternativas para Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All e Jan. A página de alternativas faz a comparação.
