Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
प्रकाशक का विवरण (अंग्रेज़ी)
Tokenizer क्या है?
Tokenizer Windows के लिए Microsoft Corporation का एक ओपन सोर्स प्रोग्राम है, जो “AI असिस्टेंट और LLM” श्रेणी में आता है। इसे C# में लिखा गया है।
इंस्टॉलेशन और सिस्टम आवश्यकताएँ
64-बिट के लिए आधिकारिक इंस्टॉलर उपलब्ध हैं (पोर्टेबल)। इसे इंस्टॉल किए बिना चलाया जा सकता है (पोर्टेबल)।
लोकप्रियता और फ़ाइल टाइप
GitHub पर इसके सोर्स कोड (microsoft/Tokenizer) को 212 स्टार मिले हैं। इसी तरह के प्रोग्राम: Codex CLI, Claude Code और ChatGPT।
GitHub पर प्रोजेक्ट का विवरण: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
खूबियाँ / कमियाँ
खूबियाँ
- ओपन सोर्स: कोई भी इसका कोड देख और बिल्ड कर सकता है
- पोर्टेबल: बिना इंस्टॉल किए चलता है
कमियाँ
- नेटिव ARM64 बिल्ड नहीं है
संक्षेप में: Tokenizer 64-बिट PC के लिए एक ओपन सोर्स Windows टूल है (श्रेणी: AI असिस्टेंट और LLM)।
क्या Tokenizer डाउनलोड करना सुरक्षित है?
- फ़ाइल github.com से आती है, जो प्रकाशक का अपना डोमेन है
- डाउनलोड लिंक HTTPS का इस्तेमाल करता है
- SHA256 हैश प्रकाशित है, इसलिए आप फ़ाइल की जाँच कर सकते हैं:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· इस हैश की VirusTotal रिपोर्ट खोलें - लिंक अभी जाँचा नहीं गया है
- सोर्स कोड सार्वजनिक है
- ExeAtlas इंस्टॉलर को न होस्ट करता है, न रैप करता है, न बदलता है
संबंधित गाइड: Windows पर फ़ाइल का SHA256 हैश कैसे चेक करें
हाल के संस्करण
सभी 1 संस्करण ›| संस्करण | तारीख़ | साइज़ | फ़ाइलें |
|---|---|---|---|
| 1.3.3नवीनतम | 29 दिसंबर 2025 | — | 64-बिट ZIP |
कमांड लाइन से इंस्टॉल करें
साइलेंट इंस्टॉल ›winget install --id Microsoft.Tokenizer -eसंबंधित गाइड: winget कैसे इस्तेमाल करें: ऐप इंस्टॉल और अपडेट
जानकारी
- प्रकाशक
- Microsoft Corporation
- श्रेणी
- AI असिस्टेंट और LLM
- लाइसेंस
- MIT
- कीमत
- मुफ़्त
- सोर्स कोड
- github.com/microsoft/Tokenizer
- प्रोग्रामिंग भाषा
- C#
- ज़रूरी सिस्टम
- Windows 11 / 10
- आर्किटेक्चर
- 64-बिट
- इंस्टॉलर
- पोर्टेबल
- संस्करण
- 1.3.3
- रिलीज़
- 29 दिसंबर 2025
- कैटलॉग में जोड़ा गया
- 29 दिसंबर 2025
- सूचीबद्ध संस्करण
- 1
- GitHub स्टार
- 212
- GitHub फ़ोर्क
- 36
- वेबसाइट
- github.com
- winget ID
- Microsoft.Tokenizer
रेटिंग और रिव्यू
अभी कोई रिव्यू नहीं है। सबसे पहले रेटिंग दें।
Tokenizer के विकल्प
सभी देखें ›-
ओपन सोर्स16.6 हज़ार ↓ -
प्रोप्राइटरी67.1 हज़ार ↓ -
ओपन सोर्स17.1 हज़ार ↓ -
ओपन सोर्स8.7 हज़ार ↓ -
ओपन सोर्स3.3 हज़ार ↓ -
ओपन सोर्स654 ↓ -
ओपन सोर्स1.9 हज़ार ↓ -
ओपन सोर्स14 हज़ार ↓
अक्सर पूछे जाने वाले सवाल
क्या Tokenizer मुफ़्त है?
हाँ। Tokenizer ओपन सोर्स सॉफ़्टवेयर है (MIT लाइसेंस)।
क्या Tokenizer डाउनलोड करना सुरक्षित है?
फ़ाइल github.com से डाउनलोड होती है, जो प्रकाशक का अपना है; ExeAtlas फ़ाइल को न होस्ट करता है, न बदलता है। डाउनलोड की गई फ़ाइल का SHA256 हैश यहाँ दिखाए गए हैश से मिलाएँ, या उस हैश की VirusTotal रिपोर्ट खोलें।
winget से Tokenizer कैसे इंस्टॉल करें?
PowerShell या Windows Terminal खोलें और इस पेज पर दिया गया winget कमांड चलाएँ। winget आधिकारिक इंस्टॉलर डाउनलोड करता है और चलाने से पहले उसका SHA256 हैश जाँचता है।
क्या Tokenizer ARM (Windows on Arm) पर चलता है?
ARM64 बिल्ड नहीं है; Windows 11 on Arm पर 64-बिट वर्ज़न एमुलेशन के ज़रिए चल सकता है।
क्या Tokenizer को एडमिनिस्ट्रेटर अधिकारों के बिना इस्तेमाल किया जा सकता है?
हाँ, यह पोर्टेबल है: फ़ाइल अनपैक करें और चलाएँ।
Tokenizer के विकल्प कौन-से हैं?
Codex CLI, Claude Code, ChatGPT, GPT4All और Jan। विकल्प पेज पर इनकी तुलना दी गई है।
