Tokenizer: versiuni mai vechi, descărcare

Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.

Microsoft Corporation Asistenți AI și LLM

LicențăOpen source
Versiune1.3.3
CerințeWindows 10, 11
Data lansării29 decembrie 2025
Stele pe GitHub★ 212

Aici sunt listate 1 versiune ale programului Tokenizer, de la 29 decembrie 2025 până la versiunea actuală, 1.3.3. Fiecare trimite la instalatoarele oficiale ale dezvoltatorului.

Versiune	Data	Dimensiune	Fișiere
1.3.3Cea mai nouă	29 decembrie 2025	—	64 de biți ZIP

Cele mai populare în Asistenți AI și LLM

Vezi tot

Claude CodeAsistenți AI și LLM · Anthropic PBC
Codex CLIAsistenți AI și LLM · OpenAI, Inc.
ChatGPTAsistenți AI și LLM · lencx
GPT4AllAsistenți AI și LLM · Nomic
JanAsistenți AI și LLM · Jan
WSL ManagerAsistenți AI și LLM · Bostrot
oh-my-piAsistenți AI și LLM · Can Bölük
T3 CodeAsistenți AI și LLM · T3 Tools
CC SwitchAsistenți AI și LLM · farion1231
LobeHubAsistenți AI și LLM · LobeHub

Alte programe de la Microsoft Corporation

Vezi tot

PowerShellTerminale și linie de comandă · Microsoft Corporation
PowerToysPersonalizare · Microsoft Corporation
NuGetManageri de pachete și actualizare · Microsoft Corporation
Microsoft Azure CLITerminale și linie de comandă · Microsoft Corporation
OpenSSH PreviewFTP și transfer de fișiere · Microsoft Corporation
Bicep CLILimbaje și SDK-uri · Microsoft Corporation

Tokenizer: versiuni mai vechi, descărcare

Cele mai populare în Asistenți AI și LLM

Alte programe de la Microsoft Corporation

Etichete

Distribuie