Tokenizer: lydløs installation og afinstallation

Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.

Microsoft Corporation AI-assistenter og LLM

LicensOpen source
Version1.3.3
KræverWindows 10, 11
Udgivet29. december 2025
GitHub-stjerner★ 212

Kommandoer til at installere Tokenizer uden spørgsmål, fjerne programmet igen og finde det fra udrulningsværktøjer. En kommando vises kun, når den er sikker: fra manifestet eller som installationsteknologiens dokumenterede standard.

Relateret vejledning: Parametre til lydløs installation: MSI, NSIS, Inno · Afinstaller et program via registreringsdatabasen

Med winget

PowerShell

winget install --id Microsoft.Tokenizer -e --silent --accept-package-agreements --accept-source-agreements

winget upgrade --id Microsoft.Tokenizer -e --silent

winget uninstall --id Microsoft.Tokenizer -e --silent

Pr. installationsfil

64-bit · ZIP

Kræver ingen installation (portabel)

Mest populære i AI-assistenter og LLM

Se alle

Claude CodeAI-assistenter og LLM · Anthropic PBC
Codex CLIAI-assistenter og LLM · OpenAI, Inc.
ChatGPTAI-assistenter og LLM · lencx
GPT4AllAI-assistenter og LLM · Nomic
JanAI-assistenter og LLM · Jan
WSL ManagerAI-assistenter og LLM · Bostrot
oh-my-piAI-assistenter og LLM · Can Bölük
T3 CodeAI-assistenter og LLM · T3 Tools
CC SwitchAI-assistenter og LLM · farion1231
LobeHubAI-assistenter og LLM · LobeHub

Mere fra Microsoft Corporation