یہاں Tokenizer کے 1 ورژن درج ہیں، 29 دسمبر، 2025 سے لے کر موجودہ 1.3.3 تک۔ ہر ورژن پبلشر کی اپنی انسٹالر فائلوں سے منسلک ہے۔
Tokenizer کے پرانے ورژن – تمام ورژنز
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- لائسنساوپن سورس
- ورژن1.3.3
- ضرورتWindows 10, 11
- تاریخِ اجرا29 دسمبر، 2025
- GitHub اسٹارز★ 212
AI اسسٹنٹس اور LLM میں سب سے مقبول
سب دیکھیں-
Claude CodeAI اسسٹنٹس اور LLM · Anthropic PBC -
Codex CLIAI اسسٹنٹس اور LLM · OpenAI, Inc. -
ChatGPTAI اسسٹنٹس اور LLM · lencx -
GPT4AllAI اسسٹنٹس اور LLM · Nomic -
JanAI اسسٹنٹس اور LLM · Jan -
WSL ManagerAI اسسٹنٹس اور LLM · Bostrot -
oh-my-piAI اسسٹنٹس اور LLM · Can Bölük -
T3 CodeAI اسسٹنٹس اور LLM · T3 Tools -
CC SwitchAI اسسٹنٹس اور LLM · farion1231 -
LobeHubAI اسسٹنٹس اور LLM · LobeHub
Microsoft Corporation کے مزید پروگرام
سب دیکھیں
PowerShellٹرمینلز اور CLI ٹولز · Microsoft Corporation
PowerToysکسٹمائزیشن · Microsoft Corporation
NuGetپیکیج مینیجرز اور اپ ڈیٹرز · Microsoft Corporation
Microsoft Azure CLIٹرمینلز اور CLI ٹولز · Microsoft Corporation
OpenSSH PreviewFTP اور فائل ٹرانسفر · Microsoft Corporation
Bicep CLIپروگرامنگ زبانیں اور SDK · Microsoft Corporation