Tokenizer፦ ጸጥ ያለ ጭነት እና ማራገፍ

Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.

Microsoft Corporation የAI ረዳቶች እና LLM

ፈቃድክፍት ምንጭ
ስሪት1.3.3
የሚያስፈልገውWindows 10, 11
የተለቀቀበት29 ዲሴምበር 2025
የGitHub ኮከቦች★ 212

Tokenizerን ያለ ጥያቄ ለመጫን፣ መልሶ ለማራገፍ እና ከማሰማሪያ መሣሪያዎች ለማወቅ የሚያገለግሉ ትዕዛዞች። ትዕዛዝ የሚታየው እርግጠኛ ሲሆን ብቻ ነው፦ ከማኒፌስቱ ወይም ከጫኚው ቴክኖሎጂ የተመዘገበ ነባሪ።

ተዛማጅ መመሪያ: የጸጥ ያለ ጭነት መቀየሪያዎች፦ MSI፣ NSIS፣ Inno Setup · ፕሮግራምን በመዝገብ (Registry) ወይም በPowerShell ማራገፍ

በwinget

PowerShell

winget install --id Microsoft.Tokenizer -e --silent --accept-package-agreements --accept-source-agreements

winget upgrade --id Microsoft.Tokenizer -e --silent

winget uninstall --id Microsoft.Tokenizer -e --silent

በጫኚ

64-bit · ZIP

መጫን አያስፈልገውም (portable)

በየAI ረዳቶች እና LLM ውስጥ በጣም ታዋቂ

ሁሉንም ይመልከቱ

Claude CodeየAI ረዳቶች እና LLM · Anthropic PBC
Codex CLIየAI ረዳቶች እና LLM · OpenAI, Inc.
ChatGPTየAI ረዳቶች እና LLM · lencx
GPT4AllየAI ረዳቶች እና LLM · Nomic
JanየAI ረዳቶች እና LLM · Jan
WSL ManagerየAI ረዳቶች እና LLM · Bostrot
oh-my-piየAI ረዳቶች እና LLM · Can Bölük
T3 CodeየAI ረዳቶች እና LLM · T3 Tools
CC SwitchየAI ረዳቶች እና LLM · farion1231
LobeHubየAI ረዳቶች እና LLM · LobeHub

ተጨማሪ ከMicrosoft Corporation