Aquí hi ha 1 versió de Tokenizer, des de 29 de desembre del 2025 fins a l’actual, 1.3.3. Cadascuna enllaça amb els instal·ladors del mateix desenvolupador.
| Versió | Data | Mida | Fitxers |
|---|---|---|---|
| 1.3.3Darrera versió | 29 de desembre del 2025 | — | 64 bits ZIP |
Tokenizer: baixar versions anteriors
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LlicènciaCodi obert
- Versió1.3.3
- RequisitsWindows 10, 11
- Data de publicació29 de desembre del 2025
- Estrelles a GitHub★ 212
El més popular a Assistents d’IA i LLM
Mostra-ho tot-
Claude CodeAssistents d’IA i LLM · Anthropic PBC -
Codex CLIAssistents d’IA i LLM · OpenAI, Inc. -
ChatGPTAssistents d’IA i LLM · lencx -
GPT4AllAssistents d’IA i LLM · Nomic -
JanAssistents d’IA i LLM · Jan -
WSL ManagerAssistents d’IA i LLM · Bostrot -
oh-my-piAssistents d’IA i LLM · Can Bölük -
T3 CodeAssistents d’IA i LLM · T3 Tools -
CC SwitchAssistents d’IA i LLM · farion1231 -
LobeHubAssistents d’IA i LLM · LobeHub
Més programes de Microsoft Corporation
Mostra-ho tot
PowerShellTerminals i línia d’ordres · Microsoft Corporation
PowerToysPersonalització · Microsoft Corporation
NuGetGestors de paquets i actualitzadors · Microsoft Corporation
Microsoft Azure CLITerminals i línia d’ordres · Microsoft Corporation
OpenSSH PreviewFTP i transferència de fitxers · Microsoft Corporation
Bicep CLILlenguatges i SDK · Microsoft Corporation