Ladda ner Tokenizer 1.3.3

Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.

Microsoft Corporation AI-assistenter och LLM

LicensÖppen källkod
Version1.3.3
KräverWindows 10, 11
Släppt29 december 2025
GitHub-stjärnor★ 212

Det här är den senaste versionen. · Släppt: 29 december 2025

Installationsfiler 1.3.3

Arkitektur	Typ	Omfattning	Filstorlek	Ladda ner	SHA256
64-bitars	ZIP → Portabel	—	—	github.com	VirusTotal

Länken och SHA256 kommer från communitymanifestet i Windows Package Manager. Jämför hashen för den nedladdade filen innan du kör den.

Populärast i AI-assistenter och LLM

Visa alla

Claude CodeAI-assistenter och LLM · Anthropic PBC
Codex CLIAI-assistenter och LLM · OpenAI, Inc.
ChatGPTAI-assistenter och LLM · lencx
GPT4AllAI-assistenter och LLM · Nomic
JanAI-assistenter och LLM · Jan
WSL ManagerAI-assistenter och LLM · Bostrot
oh-my-piAI-assistenter och LLM · Can Bölük
T3 CodeAI-assistenter och LLM · T3 Tools
CC SwitchAI-assistenter och LLM · farion1231
LobeHubAI-assistenter och LLM · LobeHub

Mer från Microsoft Corporation

Visa alla

PowerShellTerminaler och CLI-verktyg · Microsoft Corporation
PowerToysAnpassning · Microsoft Corporation
NuGetPakethanterare och uppdaterare · Microsoft Corporation
Microsoft Azure CLITerminaler och CLI-verktyg · Microsoft Corporation
OpenSSH PreviewFTP och filöverföring · Microsoft Corporation
Bicep CLISpråk och SDK:er · Microsoft Corporation

Ladda ner Tokenizer 1.3.3

Installationsfiler 1.3.3

Populärast i AI-assistenter och LLM

Mer från Microsoft Corporation

Taggar

Dela