እዚህ 1 የTokenizer ስሪቶች ተዘርዝረዋል፤ ከ29 ዲሴምበር 2025 እስከ አሁኑ 1.3.3 ድረስ። እያንዳንዱ ወደ አሳታሚው የራሱ የመጫኛ ፋይሎች ያገናኛል።
| ስሪት | ቀን | መጠን | ፋይሎች |
|---|---|---|---|
| 1.3.3የቅርብ ጊዜ ስሪት | 29 ዲሴምበር 2025 | — | 64-bit ZIP |
Tokenizer፦ ሁሉም ስሪቶች እና የቆዩ ስሪቶች
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- ፈቃድክፍት ምንጭ
- ስሪት1.3.3
- የሚያስፈልገውWindows 10, 11
- የተለቀቀበት29 ዲሴምበር 2025
- የGitHub ኮከቦች★ 212
በየAI ረዳቶች እና LLM ውስጥ በጣም ታዋቂ
ሁሉንም ይመልከቱ-
Claude CodeየAI ረዳቶች እና LLM · Anthropic PBC -
Codex CLIየAI ረዳቶች እና LLM · OpenAI, Inc. -
ChatGPTየAI ረዳቶች እና LLM · lencx -
GPT4AllየAI ረዳቶች እና LLM · Nomic -
JanየAI ረዳቶች እና LLM · Jan -
WSL ManagerየAI ረዳቶች እና LLM · Bostrot -
oh-my-piየAI ረዳቶች እና LLM · Can Bölük -
T3 CodeየAI ረዳቶች እና LLM · T3 Tools -
CC SwitchየAI ረዳቶች እና LLM · farion1231 -
LobeHubየAI ረዳቶች እና LLM · LobeHub
ተጨማሪ ከMicrosoft Corporation
ሁሉንም ይመልከቱ
PowerShellተርሚናሎች እና CLI መሣሪያዎች · Microsoft Corporation
PowerToysማበጀት · Microsoft Corporation
NuGetየጥቅል አስተዳዳሪዎች እና ማዘመኛዎች · Microsoft Corporation
Microsoft Azure CLIተርሚናሎች እና CLI መሣሪያዎች · Microsoft Corporation
OpenSSH PreviewFTP እና ፋይል ማስተላለፍ · Microsoft Corporation
Bicep CLIቋንቋዎች እና SDK · Microsoft Corporation