Tokenizer: tyst installation och avinstallation

Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.

Microsoft Corporation AI-assistenter och LLM

LicensÖppen källkod
Version1.3.3
KräverWindows 10, 11
Släppt29 december 2025
GitHub-stjärnor★ 212

Kommandon för att installera Tokenizer utan frågor, ta bort programmet igen och identifiera det i distributionsverktyg. Ett kommando visas bara när det är säkert: från manifestet eller som installationsteknikens dokumenterade standard.

Relaterad guide: Parametrar för tyst installation: MSI, NSIS, Inno · Avinstallera program via registret eller PowerShell

Med winget

PowerShell

winget install --id Microsoft.Tokenizer -e --silent --accept-package-agreements --accept-source-agreements

winget upgrade --id Microsoft.Tokenizer -e --silent

winget uninstall --id Microsoft.Tokenizer -e --silent

Per installationsfil

64-bitars · ZIP

Kräver ingen installation (portabel)

Populärast i AI-assistenter och LLM

Visa alla

Claude CodeAI-assistenter och LLM · Anthropic PBC
Codex CLIAI-assistenter och LLM · OpenAI, Inc.
ChatGPTAI-assistenter och LLM · lencx
GPT4AllAI-assistenter och LLM · Nomic
JanAI-assistenter och LLM · Jan
WSL ManagerAI-assistenter och LLM · Bostrot
oh-my-piAI-assistenter och LLM · Can Bölük
T3 CodeAI-assistenter och LLM · T3 Tools
CC SwitchAI-assistenter och LLM · farion1231
LobeHubAI-assistenter och LLM · LobeHub

Mer från Microsoft Corporation