Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
প্রকাশকের দেওয়া বিবরণ (ইংরেজি)
Tokenizer কী?
Tokenizer হলো Windows-এর জন্য Microsoft Corporation-এর একটি ওপেন সোর্স প্রোগ্রাম, যা “AI অ্যাসিস্ট্যান্ট ও LLM” ক্যাটাগরির অন্তর্ভুক্ত। এটি C# দিয়ে লেখা।
ইনস্টলেশন ও সিস্টেমের প্রয়োজনীয়তা
৬৪-বিট-এর জন্য অফিশিয়াল ইনস্টলার আছে (পোর্টেবল)। এটি ইনস্টল না করেই চালানো যায় (পোর্টেবল)।
জনপ্রিয়তা ও ফাইল টাইপ
GitHub-এ এর সোর্স কোড (microsoft/Tokenizer) ২১২টি স্টার পেয়েছে। একই ধরনের প্রোগ্রাম: Codex CLI, Claude Code ও ChatGPT।
GitHub-এ প্রজেক্টের বিবরণ: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
সুবিধা / অসুবিধা
সুবিধা
- ওপেন সোর্স: যে কেউ কোড দেখতে ও বিল্ড করতে পারেন
- পোর্টেবল: ইনস্টল ছাড়াই চলে
অসুবিধা
- নেটিভ ARM64 বিল্ড নেই
সংক্ষেপে: Tokenizer ৬৪-বিট PC-র জন্য একটি ওপেন সোর্স Windows টুল (ক্যাটাগরি: AI অ্যাসিস্ট্যান্ট ও LLM)।
Tokenizer ডাউনলোড করা কি নিরাপদ?
- ফাইলটি আসে github.com থেকে, যা প্রকাশকের নিজস্ব ডোমেইন
- ডাউনলোড লিংক HTTPS ব্যবহার করে
- SHA256 হ্যাশ প্রকাশিত আছে, তাই ফাইলটি যাচাই করতে পারবেন:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· এই হ্যাশের VirusTotal রিপোর্ট খুলুন - লিংকটি এখনও যাচাই করা হয়নি
- সোর্স কোড উন্মুক্ত
- ExeAtlas কোনো ইনস্টলার হোস্ট করে না, মোড়কে ভরে না বা বদলায় না
সম্পর্কিত গাইড: Windows-এ ফাইলের SHA256 হ্যাশ চেক করার নিয়ম
সাম্প্রতিক সংস্করণ
সব ১টি সংস্করণ ›| সংস্করণ | তারিখ | সাইজ | ফাইল |
|---|---|---|---|
| 1.3.3সর্বশেষ | ২৯ ডিসেম্বর, ২০২৫ | — | ৬৪-বিট ZIP |
কমান্ড লাইন থেকে ইনস্টল
সাইলেন্ট ইনস্টল ›winget install --id Microsoft.Tokenizer -eসম্পর্কিত গাইড: winget ব্যবহারের নিয়ম: অ্যাপ ইনস্টল ও আপডেট
তথ্য
- প্রকাশক
- Microsoft Corporation
- ক্যাটাগরি
- AI অ্যাসিস্ট্যান্ট ও LLM
- লাইসেন্স
- MIT
- দাম
- ফ্রি
- সোর্স কোড
- github.com/microsoft/Tokenizer
- প্রোগ্রামিং ভাষা
- C#
- প্রয়োজনীয় সিস্টেম
- Windows 11 / 10
- আর্কিটেকচার
- ৬৪-বিট
- ইনস্টলার
- পোর্টেবল
- সংস্করণ
- 1.3.3
- প্রকাশের তারিখ
- ২৯ ডিসেম্বর, ২০২৫
- ক্যাটালগে যোগ হয়েছে
- ২৯ ডিসেম্বর, ২০২৫
- তালিকাভুক্ত সংস্করণ
- 1
- GitHub স্টার
- ২১২
- GitHub ফর্ক
- ৩৬
- ওয়েবসাইট
- github.com
- winget ID
- Microsoft.Tokenizer
রেটিং ও রিভিউ
এখনও কোনো রিভিউ নেই। প্রথম রেটিংটি আপনিই দিন।
Tokenizer-এর বিকল্প
সব দেখুন ›-
ওপেন সোর্স১৬.৬ হা ↓ -
প্রোপ্রাইটারি৬৭.১ হা ↓ -
ওপেন সোর্স১৭.১ হা ↓ -
ওপেন সোর্স৮.৭ হা ↓ -
ওপেন সোর্স৩.৩ হা ↓ -
ওপেন সোর্স৬৫৪ ↓ -
ওপেন সোর্স১.৯ হা ↓ -
ওপেন সোর্স১৪ হা ↓
সচরাচর জিজ্ঞাসিত প্রশ্ন
Tokenizer কি ফ্রি?
হ্যাঁ। Tokenizer একটি ওপেন সোর্স সফটওয়্যার (MIT লাইসেন্স)।
Tokenizer ডাউনলোড করা কি নিরাপদ?
ফাইলটি ডাউনলোড হয় github.com থেকে, যা প্রকাশকের নিজস্ব; ExeAtlas ফাইলটি হোস্টও করে না, বদলায়ও না। ডাউনলোড করা ফাইলের SHA256 হ্যাশ এখানে দেখানো হ্যাশের সঙ্গে মিলিয়ে নিন, অথবা সেই হ্যাশের VirusTotal রিপোর্ট খুলুন।
winget দিয়ে Tokenizer কীভাবে ইনস্টল করবেন?
PowerShell বা Windows Terminal খুলুন এবং এই পাতায় দেওয়া winget কমান্ডটি চালান। winget অফিশিয়াল ইনস্টলার ডাউনলোড করে এবং চালানোর আগে তার SHA256 হ্যাশ যাচাই করে।
Tokenizer কি ARM (Windows on Arm)-এ চলে?
ARM64 বিল্ড নেই; Windows 11 on Arm-এ ৬৪-বিট সংস্করণটি ইমুলেশনের মাধ্যমে চলতে পারে।
অ্যাডমিনিস্ট্রেটর অনুমতি ছাড়া কি Tokenizer ব্যবহার করা যায়?
হ্যাঁ, এটি পোর্টেবল: আনপ্যাক করে চালিয়ে দিন।
Tokenizer-এর বিকল্প কী কী?
Codex CLI, Claude Code, ChatGPT, GPT4All ও Jan। বিকল্প পাতায় এগুলোর তুলনা দেওয়া আছে।
