এখানে Tokenizer-এর ১টি সংস্করণ আছে, ২৯ ডিসেম্বর, ২০২৫ থেকে বর্তমান 1.3.3 পর্যন্ত। প্রতিটির লিংক যায় প্রকাশকের নিজস্ব ইনস্টলার ফাইলে।
| সংস্করণ | তারিখ | সাইজ | ফাইল |
|---|---|---|---|
| 1.3.3সর্বশেষ | ২৯ ডিসেম্বর, ২০২৫ | — | ৬৪-বিট ZIP |
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
এখানে Tokenizer-এর ১টি সংস্করণ আছে, ২৯ ডিসেম্বর, ২০২৫ থেকে বর্তমান 1.3.3 পর্যন্ত। প্রতিটির লিংক যায় প্রকাশকের নিজস্ব ইনস্টলার ফাইলে।
| সংস্করণ | তারিখ | সাইজ | ফাইল |
|---|---|---|---|
| 1.3.3সর্বশেষ | ২৯ ডিসেম্বর, ২০২৫ | — | ৬৪-বিট ZIP |