Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
प्रकाशकको विवरण (अङ्ग्रेजी)
Tokenizer के हो?
Tokenizer Windows का लागि Microsoft Corporation को एउटा ओपन सोर्स प्रोग्राम हो, जुन “AI सहायक र LLM” श्रेणीमा पर्छ। यो C# मा लेखिएको हो।
इन्स्टलेसन र सिस्टम आवश्यकता
६४-बिट का लागि आधिकारिक इन्स्टलर उपलब्ध छन् (पोर्टेबल)। यसलाई इन्स्टल नगरी चलाउन सकिन्छ (पोर्टेबल)।
लोकप्रियता र फाइल प्रकार
GitHub मा यसको सोर्स कोड (microsoft/Tokenizer) ले २१२ स्टार पाएको छ। यस्तै प्रोग्रामहरू: Codex CLI, Claude Code र ChatGPT।
GitHub मा प्रोजेक्टको विवरण: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
राम्रा पक्ष / कमजोरी
राम्रा पक्ष
- ओपन सोर्स: जो कोहीले यसको कोड हेर्न र बिल्ड गर्न सक्छ
- पोर्टेबल: इन्स्टल नगरी चल्छ
कमजोरी
- नेटिभ ARM64 बिल्ड छैन
संक्षेपमा: Tokenizer ६४-बिट PC का लागि एउटा ओपन सोर्स Windows टुल हो (श्रेणी: AI सहायक र LLM)।
के Tokenizer डाउनलोड गर्नु सुरक्षित छ?
- फाइल github.com बाट आउँछ, जुन प्रकाशकको आफ्नै डोमेन हो
- डाउनलोड लिङ्कले HTTPS प्रयोग गर्छ
- SHA256 ह्यास प्रकाशित छ, त्यसैले तपाईं फाइल जाँच्न सक्नुहुन्छ:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· यो ह्यासको VirusTotal रिपोर्ट खोल्नुहोस् - लिङ्क अहिलेसम्म जाँचिएको छैन
- सोर्स कोड सार्वजनिक छ
- ExeAtlas ले इन्स्टलर न होस्ट गर्छ, न र्याप गर्छ, न बदल्छ
सम्बन्धित गाइड: Windows मा फाइलको SHA256 ह्यास कसरी जाँच्ने
हालैका संस्करणहरू
सबै १ संस्करण ›| संस्करण | मिति | साइज | फाइलहरू |
|---|---|---|---|
| 1.3.3पछिल्लो | २०२५ डिसेम्बर २९ | — | ६४-बिट ZIP |
कमान्ड लाइनबाट इन्स्टल गर्नुहोस्
साइलेन्ट इन्स्टल ›winget install --id Microsoft.Tokenizer -eसम्बन्धित गाइड: winget कसरी चलाउने: एप इन्स्टल र अपडेट
जानकारी
- प्रकाशक
- Microsoft Corporation
- श्रेणी
- AI सहायक र LLM
- लाइसेन्स
- MIT
- मूल्य
- निःशुल्क
- सोर्स कोड
- github.com/microsoft/Tokenizer
- प्रोग्रामिङ भाषा
- C#
- आवश्यक सिस्टम
- Windows 11 / 10
- आर्किटेक्चर
- ६४-बिट
- इन्स्टलर
- पोर्टेबल
- संस्करण
- 1.3.3
- रिलिज
- २०२५ डिसेम्बर २९
- क्याटलगमा थपिएको
- २०२५ डिसेम्बर २९
- सूचीकृत संस्करण
- 1
- GitHub स्टार
- २१२
- GitHub फोर्क
- ३६
- वेबसाइट
- github.com
- winget ID
- Microsoft.Tokenizer
रेटिङ र समीक्षा
अहिलेसम्म कुनै समीक्षा छैन। सबैभन्दा पहिले रेटिङ दिनुहोस्।
Tokenizer का विकल्पहरू
सबै हेर्नुहोस् ›-
ओपन सोर्स१६.६ हजार ↓ -
प्रोप्राइटरी६७.१ हजार ↓ -
ओपन सोर्स१७.१ हजार ↓ -
ओपन सोर्स८.७ हजार ↓ -
ओपन सोर्स३.३ हजार ↓ -
ओपन सोर्स६५४ ↓ -
ओपन सोर्स१.९ हजार ↓ -
ओपन सोर्स१४ हजार ↓
बारम्बार सोधिने प्रश्नहरू
के Tokenizer निःशुल्क छ?
हो। Tokenizer ओपन सोर्स सफ्टवेयर हो (MIT लाइसेन्स)।
के Tokenizer डाउनलोड गर्नु सुरक्षित छ?
फाइल github.com बाट डाउनलोड हुन्छ, जुन प्रकाशकको आफ्नै हो; ExeAtlas ले फाइल न होस्ट गर्छ, न बदल्छ। डाउनलोड गरेको फाइलको SHA256 ह्यास यहाँ देखाइएको ह्याससँग मिलाउनुहोस्, वा त्यो ह्यासको VirusTotal रिपोर्ट खोल्नुहोस्।
winget बाट Tokenizer कसरी इन्स्टल गर्ने?
PowerShell वा Windows Terminal खोल्नुहोस् र यस पेजमा दिइएको winget कमान्ड चलाउनुहोस्। winget ले आधिकारिक इन्स्टलर डाउनलोड गर्छ र चलाउनुअघि त्यसको SHA256 ह्यास जाँच्छ।
के Tokenizer ARM (Windows on Arm) मा चल्छ?
ARM64 बिल्ड छैन; Windows 11 on Arm मा ६४-बिट संस्करण इमुलेसनमार्फत चल्न सक्छ।
के Tokenizer एडमिनिस्ट्रेटर अधिकारबिना प्रयोग गर्न सकिन्छ?
सकिन्छ, यो पोर्टेबल हो: फाइल अनप्याक गर्नुहोस् र चलाउनुहोस्।
Tokenizer का विकल्पहरू के-के हुन्?
Codex CLI, Claude Code, ChatGPT, GPT4All र Jan। विकल्प पेजमा यिनको तुलना दिइएको छ।
