Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
وصف الناشر (الإنجليزية)
ما هو برنامج Tokenizer؟
Tokenizer برنامج مفتوح المصدر لنظام Windows من Microsoft Corporation، ويندرج ضمن فئة مساعدات الذكاء الاصطناعي وLLM. لغة البرمجة المستخدمة في تطويره: C#.
التثبيت ومتطلبات التشغيل
تتوفر ملفات تثبيت رسمية لأنظمة 64 بت بصيغة نسخة محمولة. يعمل دون تثبيت (نسخة محمولة).
الشعبية وأنواع الملفات
عدد نجوم مستودعه على GitHub (microsoft/Tokenizer): 212. من البرامج المشابهة: Codex CLI، Claude Code وChatGPT.
وصف المشروع على GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
الإيجابيات / السلبيات
الإيجابيات
- مفتوح المصدر: يمكن لأي شخص فحص الشيفرة وبناؤها
- نسخة محمولة تعمل دون تثبيت
السلبيات
- لا يوجد إصدار ARM64 أصلي
باختصار: Tokenizer برنامج مفتوح المصدر من فئة مساعدات الذكاء الاصطناعي وLLM يعمل على أجهزة 64 بت.
هل تحميل Tokenizer آمن؟
- يُقدَّم الملف من github.com، وهو نطاق يملكه الناشر
- رابط التحميل يستخدم HTTPS
- بصمة SHA256 منشورة، فيمكنك التحقق من الملف:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· افتح تقرير VirusTotal لهذه البصمة - لم يُفحص الرابط بعد
- الشيفرة المصدرية متاحة للجميع
- لا يستضيف ExeAtlas ملفات التثبيت ولا يغلّفها ولا يعدّلها
شرح ذو صلة: التحقق من بصمة SHA256 لملف في Windows
أحدث الإصدارات
جميع الإصدارات (1) ›التثبيت من سطر الأوامر
التثبيت الصامت ›winget install --id Microsoft.Tokenizer -eشرح ذو صلة: شرح winget: تثبيت البرامج وتحديثها من سطر الأوامر
معلومات
- الناشر
- Microsoft Corporation
- القسم
- مساعدات الذكاء الاصطناعي وLLM
- الترخيص
- MIT
- السعر
- مجاني
- الشيفرة المصدرية
- github.com/microsoft/Tokenizer
- لغة البرمجة
- C#
- المتطلبات
- Windows 11 / 10
- المعمارية
- 64 بت
- نوع المثبّت
- نسخة محمولة
- الإصدار
- 1.3.3
- تاريخ الإصدار
- 29 ديسمبر 2025
- تاريخ الإضافة إلى الدليل
- 29 ديسمبر 2025
- الإصدارات المدرجة
- 1
- نجوم GitHub
- 212
- تفرّعات GitHub
- 36
- الموقع الرسمي
- github.com
- معرّف winget
- Microsoft.Tokenizer
التقييمات والمراجعات
لا توجد مراجعات بعد. كن أول من يقيّم هذا البرنامج.
بدائل Tokenizer
عرض الكل ›-
مفتوح المصدر16.6 ألف ↓ -
مغلق المصدر67.1 ألف ↓ -
مفتوح المصدر17.1 ألف ↓ -
مفتوح المصدر8.7 ألف ↓ -
مفتوح المصدر3.3 ألف ↓ -
مفتوح المصدر654 ↓ -
مفتوح المصدر1.9 ألف ↓ -
مفتوح المصدر14 ألف ↓
الأسئلة الشائعة
هل برنامج Tokenizer مجاني؟
نعم. برنامج Tokenizer مفتوح المصدر ويخضع لترخيص MIT.
هل تحميل Tokenizer آمن؟
يأتي ملف التحميل من github.com، وهو نطاق يملكه الناشر؛ ولا يستضيف ExeAtlas الملف ولا يعدّله. قارن بصمة SHA256 للملف بالبصمة المعروضة هنا، أو افتح تقرير VirusTotal لهذه البصمة.
كيف أثبّت Tokenizer باستخدام winget؟
افتح PowerShell أو Windows Terminal وشغّل أمر winget المعروض في هذه الصفحة. ينزّل winget ملف التثبيت الرسمي ويتحقق من بصمة SHA256 قبل تشغيله.
هل يعمل Tokenizer على أجهزة Windows on Arm؟
لا يوجد إصدار ARM64؛ لكن Windows 11 on Arm يستطيع تشغيل إصدار 64 بت عبر المحاكاة.
هل يمكن استخدام Tokenizer دون صلاحيات المسؤول؟
نعم، فهو نسخة محمولة: فُكّ ضغطه وشغّله.
ما بدائل Tokenizer؟
Codex CLI، Claude Code، ChatGPT، GPT4All وJan. تقارن صفحة البدائل بينها.
