Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
پبلشر کی وضاحت (انگریزی)
Tokenizer کیا ہے؟
Tokenizer، جسے Microsoft Corporation جاری کرتا ہے، Windows کے لیے ایک اوپن سورس پروگرام ہے اور AI اسسٹنٹس اور LLM کے زمرے میں آتا ہے۔ یہ C# میں لکھا گیا ہے۔
انسٹالیشن اور سسٹم کی ضروریات
64 بٹ کے لیے سرکاری انسٹالر موجود ہیں (پورٹیبل)۔ یہ انسٹال کیے بغیر چلتا ہے (پورٹیبل)۔
مقبولیت اور فائل اقسام
GitHub پر اس کے سورس کوڈ (microsoft/Tokenizer) کو 212 اسٹارز ملے ہیں۔ اسی طرح کے پروگرام: Codex CLI، Claude Code اور ChatGPT۔
GitHub پر پروجیکٹ کی وضاحت: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
خوبیاں / خامیاں
خوبیاں
- اوپن سورس: کوئی بھی کوڈ دیکھ اور بِلڈ کر سکتا ہے
- پورٹیبل: انسٹالیشن کی ضرورت نہیں
خامیاں
- نیٹو ARM64 ورژن موجود نہیں
خلاصہ: Tokenizer AI اسسٹنٹس اور LLM کے زمرے کا ایک اوپن سورس ٹول ہے جو 64 بٹ کمپیوٹرز کے لیے دستیاب ہے۔
کیا Tokenizer ڈاؤن لوڈ کرنا محفوظ ہے؟
- فائل github.com سے آتی ہے، جو پبلشر کا اپنا ڈومین ہے
- ڈاؤن لوڈ لنک HTTPS استعمال کرتا ہے
- SHA256 ہیش شائع شدہ ہے، اس لیے آپ فائل کی تصدیق کر سکتے ہیں:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· اس ہیش کی VirusTotal رپورٹ کھولیں - لنک ابھی چیک نہیں ہوا
- سورس کوڈ عوامی طور پر دستیاب ہے
- ExeAtlas انسٹالرز کو نہ ہوسٹ کرتا ہے، نہ ریپ کرتا ہے اور نہ ان میں تبدیلی کرتا ہے
متعلقہ گائیڈ: Windows میں فائل کا SHA256 ہیش کیسے چیک کریں
حالیہ ورژن
تمام 1 ورژن ›کمانڈ لائن سے انسٹالیشن
خاموش انسٹالیشن ›winget install --id Microsoft.Tokenizer -eمتعلقہ گائیڈ: winget کا استعمال: پروگرام انسٹال اور اپ ڈیٹ کریں
معلومات
- پبلشر
- Microsoft Corporation
- زمرہ
- AI اسسٹنٹس اور LLM
- لائسنس
- MIT
- قیمت
- مفت
- سورس کوڈ
- github.com/microsoft/Tokenizer
- پروگرامنگ زبان
- C#
- ضرورت
- Windows 11 / 10
- آرکیٹیکچر
- 64 بٹ
- انسٹالر
- پورٹیبل
- ورژن
- 1.3.3
- تاریخِ اجرا
- 29 دسمبر، 2025
- فہرست میں شامل
- 29 دسمبر، 2025
- درج ورژن
- 1
- GitHub اسٹارز
- 212
- GitHub فورکس
- 36
- ویب سائٹ
- github.com
- winget ID
- Microsoft.Tokenizer
ریٹنگز اور تبصرے
ابھی کوئی تبصرہ نہیں۔ سب سے پہلے آپ ریٹ کریں۔
Tokenizer کے متبادل
سب دیکھیں ›-
اوپن سورس16.6 ہزار ↓ -
ملکیتی67.1 ہزار ↓ -
اوپن سورس17.1 ہزار ↓ -
اوپن سورس8.7 ہزار ↓ -
اوپن سورس3.3 ہزار ↓ -
اوپن سورس654 ↓ -
اوپن سورس1.9 ہزار ↓ -
اوپن سورس14 ہزار ↓
اکثر پوچھے جانے والے سوالات
کیا Tokenizer مفت ہے؟
جی ہاں۔ Tokenizer اوپن سورس سافٹ ویئر ہے (MIT لائسنس)۔
کیا Tokenizer ڈاؤن لوڈ کرنا محفوظ ہے؟
فائل github.com سے آتی ہے، جو پبلشر کا اپنا ڈومین ہے؛ ExeAtlas نہ فائل ہوسٹ کرتا ہے نہ اس میں کوئی تبدیلی کرتا ہے۔ اس کا SHA256 ہیش یہاں دکھائے گئے ہیش سے ملائیں، یا اس ہیش کی VirusTotal رپورٹ کھولیں۔
winget سے Tokenizer کیسے انسٹال کریں؟
PowerShell یا Windows Terminal کھولیں اور اس صفحے پر دی گئی winget کمانڈ چلائیں۔ winget سرکاری انسٹالر ڈاؤن لوڈ کرتا ہے اور چلانے سے پہلے اس کا SHA256 ہیش جانچتا ہے۔
کیا Tokenizer ARM (Windows on Arm) پر چلتا ہے؟
ARM64 ورژن موجود نہیں؛ Windows 11 on Arm ایمولیشن کے ذریعے 64 بٹ ورژن چلا سکتا ہے۔
کیا Tokenizer ایڈمنسٹریٹر کی اجازت کے بغیر استعمال ہو سکتا ہے؟
جی ہاں، یہ پورٹیبل ہے: ان زِپ کریں اور چلائیں۔
Tokenizer کے متبادل کون سے ہیں؟
Codex CLI، Claude Code، ChatGPT، GPT4All اور Jan۔ متبادل کے صفحے پر ان کا موازنہ کیا گیا ہے۔
