Cette page répertorie 1 version de Tokenizer, du 29 décembre 2025 à l’actuelle 1.3.3. Chacune renvoie aux fichiers d’installation de l’éditeur.
| Version | Date | Taille | Fichiers |
|---|---|---|---|
| 1.3.3Dernière version | 29 décembre 2025 | — | 64 bits ZIP |
Tokenizer : anciennes versions à télécharger
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LicenceOpen source
- Version1.3.3
- Configuration requiseWindows 10, 11
- Date de sortie29 décembre 2025
- Étoiles GitHub★ 212
Le plus populaire dans Assistants IA et LLM
Tout voir-
Claude CodeAssistants IA et LLM · Anthropic PBC -
Codex CLIAssistants IA et LLM · OpenAI, Inc. -
ChatGPTAssistants IA et LLM · lencx -
GPT4AllAssistants IA et LLM · Nomic -
JanAssistants IA et LLM · Jan -
WSL ManagerAssistants IA et LLM · Bostrot -
oh-my-piAssistants IA et LLM · Can Bölük -
T3 CodeAssistants IA et LLM · T3 Tools -
CC SwitchAssistants IA et LLM · farion1231 -
LobeHubAssistants IA et LLM · LobeHub
Autres logiciels de Microsoft Corporation
Tout voir
PowerShellTerminaux et ligne de commande · Microsoft Corporation
PowerToysPersonnalisation · Microsoft Corporation
NuGetGestionnaires de paquets et mises à jour · Microsoft Corporation
Microsoft Azure CLITerminaux et ligne de commande · Microsoft Corporation
OpenSSH PreviewFTP et transfert de fichiers · Microsoft Corporation
Bicep CLILangages et SDK · Microsoft Corporation