Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
प्रकाशकाचे वर्णन (इंग्रजी)
Tokenizer काय आहे?
Tokenizer हे Windows साठीचे Microsoft Corporation यांचे ओपन सोर्स ॲप्लिकेशन आहे, जे “AI असिस्टंट आणि LLM” या श्रेणीत येते. ते C# मध्ये लिहिलेले आहे.
इन्स्टॉलेशन आणि सिस्टम आवश्यकता
64-बिट साठी अधिकृत इन्स्टॉलर उपलब्ध आहेत (पोर्टेबल). ते इन्स्टॉल न करता चालवता येते (पोर्टेबल).
लोकप्रियता आणि फाइल प्रकार
GitHub वर त्याच्या सोर्स कोडला (microsoft/Tokenizer) २१२ स्टार मिळाले आहेत. याच प्रकारचे प्रोग्राम: Codex CLI, Claude Code आणि ChatGPT.
GitHub वरील प्रोजेक्टचे वर्णन: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
जमेच्या बाजू / मर्यादा
जमेच्या बाजू
- ओपन सोर्स: कोणीही त्याचा कोड पाहू आणि बिल्ड करू शकतो
- पोर्टेबल: इन्स्टॉल न करता चालते
मर्यादा
- नेटिव्ह ARM64 बिल्ड नाही
थोडक्यात: Tokenizer हे 64-बिट PC साठीचे ओपन सोर्स Windows टूल आहे (श्रेणी: AI असिस्टंट आणि LLM).
Tokenizer डाउनलोड करणे सुरक्षित आहे का?
- फाइल github.com वरून येते, जे प्रकाशकाचे स्वतःचे डोमेन आहे
- डाउनलोड लिंक HTTPS वापरते
- SHA256 हॅश प्रकाशित आहे, त्यामुळे आपण फाइल तपासू शकता:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· या हॅशचा VirusTotal अहवाल उघडा - लिंक अद्याप तपासलेली नाही
- सोर्स कोड सार्वजनिक आहे
- ExeAtlas इन्स्टॉलर होस्ट करत नाही, रॅप करत नाही आणि बदलत नाही
संबंधित मार्गदर्शक: Windows वर फाइलचा SHA256 हॅश कसा तपासायचा
अलीकडील आवृत्त्या
सर्व १ आवृत्ती ›| आवृत्ती | तारीख | आकार | फाइल्स |
|---|---|---|---|
| 1.3.3नवीनतम | २९ डिसेंबर, २०२५ | — | 64-बिट ZIP |
कमांड लाइनवरून इन्स्टॉल करा
सायलेंट इन्स्टॉल ›winget install --id Microsoft.Tokenizer -eसंबंधित मार्गदर्शक: winget कसे वापरावे: ॲप्स इन्स्टॉल आणि अपडेट करा
माहिती
- प्रकाशक
- Microsoft Corporation
- श्रेणी
- AI असिस्टंट आणि LLM
- लायसन्स
- MIT
- किंमत
- मोफत
- सोर्स कोड
- github.com/microsoft/Tokenizer
- प्रोग्रामिंग भाषा
- C#
- आवश्यक सिस्टम
- Windows 11 / 10
- आर्किटेक्चर
- 64-बिट
- इन्स्टॉलर
- पोर्टेबल
- आवृत्ती
- 1.3.3
- रिलीज
- २९ डिसेंबर, २०२५
- कॅटलॉगमध्ये जोडले
- २९ डिसेंबर, २०२५
- नोंदवलेल्या आवृत्त्या
- 1
- GitHub स्टार
- २१२
- GitHub फोर्क
- ३६
- वेबसाइट
- github.com
- winget ID
- Microsoft.Tokenizer
रेटिंग आणि रिव्ह्यू
अद्याप कोणताही रिव्ह्यू नाही. सर्वात आधी रेटिंग द्या.
Tokenizer चे पर्याय
सर्व पाहा ›-
ओपन सोर्स१६.६ ह ↓ -
प्रोप्रायटरी६७.१ ह ↓ -
ओपन सोर्स१७.१ ह ↓ -
ओपन सोर्स८.७ ह ↓ -
ओपन सोर्स३.३ ह ↓ -
ओपन सोर्स६५४ ↓ -
ओपन सोर्स१.९ ह ↓ -
ओपन सोर्स१४ ह ↓
वारंवार विचारले जाणारे प्रश्न
Tokenizer मोफत आहे का?
हो. Tokenizer हे ओपन सोर्स सॉफ्टवेअर आहे (MIT लायसन्स).
Tokenizer डाउनलोड करणे सुरक्षित आहे का?
फाइल github.com वरून डाउनलोड होते, जो प्रकाशकाचा स्वतःचा आहे; ExeAtlas फाइल होस्ट करत नाही आणि बदलतही नाही. डाउनलोड केलेल्या फाइलचा SHA256 हॅश येथे दाखवलेल्या हॅशशी जुळवा, किंवा त्या हॅशचा VirusTotal अहवाल उघडा.
winget ने Tokenizer कसे इन्स्टॉल करायचे?
PowerShell किंवा Windows Terminal उघडा आणि या पेजवर दिलेली winget कमांड चालवा. winget अधिकृत इन्स्टॉलर डाउनलोड करतो आणि चालवण्यापूर्वी त्याचा SHA256 हॅश तपासतो.
Tokenizer ARM (Windows on Arm) वर चालते का?
ARM64 बिल्ड नाही; Windows 11 on Arm वर 64-बिट आवृत्ती एम्युलेशनद्वारे चालू शकते.
Tokenizer ॲडमिनिस्ट्रेटर अधिकारांशिवाय वापरता येते का?
हो, ते पोर्टेबल आहे: फाइल अनपॅक करा आणि चालवा.
Tokenizer चे पर्याय कोणते आहेत?
Codex CLI, Claude Code, ChatGPT, GPT4All आणि Jan. पर्यायांच्या पेजवर त्यांची तुलना दिली आहे.
