Télécharger Tokenizer 1.3.3

Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.

Microsoft Corporation Assistants IA et LLM

LicenceOpen source
Version1.3.3
Configuration requiseWindows 10, 11
Date de sortie29 décembre 2025
Étoiles GitHub★ 212

Il s’agit de la dernière version. · Date de sortie: 29 décembre 2025

Fichiers d’installation 1.3.3

Architecture	Type	Portée	Taille du fichier	Télécharger	SHA256
64 bits	ZIP → Portable	—	—	github.com	VirusTotal

Le lien et l’empreinte SHA256 proviennent du manifeste communautaire du Gestionnaire de paquets Windows. Comparez l’empreinte du fichier téléchargé avant de l’exécuter.

Le plus populaire dans Assistants IA et LLM

Tout voir

Claude CodeAssistants IA et LLM · Anthropic PBC
Codex CLIAssistants IA et LLM · OpenAI, Inc.
ChatGPT by lencxAssistants IA et LLM · lencx
GPT4AllAssistants IA et LLM · Nomic
JanAssistants IA et LLM · Jan
oh-my-piAssistants IA et LLM · Can Bölük
T3 CodeAssistants IA et LLM · T3 Tools
WSL ManagerAssistants IA et LLM · Bostrot
CC SwitchAssistants IA et LLM · farion1231
LobeHubAssistants IA et LLM · LobeHub

Autres logiciels de Microsoft Corporation

Tout voir

PowerShellTerminaux et ligne de commande · Microsoft Corporation
PowerToysPersonnalisation · Microsoft Corporation
NuGetGestionnaires de paquets et mises à jour · Microsoft Corporation
Microsoft Azure CLITerminaux et ligne de commande · Microsoft Corporation
OpenSSH PreviewFTP et transfert de fichiers · Microsoft Corporation
Bicep CLILangages et SDK · Microsoft Corporation

Télécharger Tokenizer 1.3.3

Fichiers d’installation 1.3.3

Le plus populaire dans Assistants IA et LLM

Autres logiciels de Microsoft Corporation

Mots-clés

Partager