Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
ထုတ်ဝေသူ၏ ဖော်ပြချက် (အင်္ဂလိပ်)
Tokenizer ဆိုတာ ဘာလဲ
Tokenizer သည် Microsoft Corporation ထုတ်ဝေသော Windows အတွက် ပွင့်လင်းရင်းမြစ် AI assistant နှင့် LLM အမျိုးအစား ပရိုဂရမ် ဖြစ်ပါသည်။ C# ဖြင့် ရေးသားထားပါသည်။
ထည့်သွင်းခြင်းနှင့် လိုအပ်ချက်များ
တရားဝင် installer များကို 64-bit အတွက် Portable ပုံစံဖြင့် ရနိုင်ပါသည်။ ထည့်သွင်းစရာမလိုဘဲ တိုက်ရိုက် run နိုင်ပါသည် (portable)။
လူကြိုက်များမှုနှင့် ဖိုင်အမျိုးအစားများ
GitHub ပေါ်ရှိ source code (microsoft/Tokenizer) တွင် ကြယ် ၂၁၂ ပွင့် ရှိပါသည်။ ဆင်တူသော ပရိုဂရမ်များတွင် Codex CLI၊ Claude Code နှင့် ChatGPT ပါဝင်ပါသည်။
GitHub ပေါ်ရှိ ပရောဂျက်ဖော်ပြချက်: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
အားသာချက်များ / အားနည်းချက်များ
အားသာချက်များ
- ပွင့်လင်းရင်းမြစ် - code ကို မည်သူမဆို စစ်ဆေး၍ build လုပ်နိုင်သည်
- Portable - ထည့်သွင်းစရာမလိုဘဲ run နိုင်သည်
အားနည်းချက်များ
- Native ARM64 build မရှိပါ
အတိုချုပ်: Tokenizer သည် 64-bit ကွန်ပျူတာများအတွက် ပွင့်လင်းရင်းမြစ် AI assistant နှင့် LLM ကိရိယာ ဖြစ်ပါသည်။
Tokenizer ကို ဒေါင်းလုဒ်လုပ်ရန် လုံခြုံပါသလား
- ဖိုင်ကို ထုတ်ဝေသူ၏ ကိုယ်ပိုင်ဒိုမိန်း github.com မှ ပေးပို့ပါသည်
- ဒေါင်းလုဒ်လင့်ခ်သည် HTTPS ကို အသုံးပြုပါသည်
- SHA256 hash ထုတ်ပြန်ထားသဖြင့် ဖိုင်ကို စစ်ဆေးနိုင်ပါသည်:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· ဤ hash ၏ VirusTotal အစီရင်ခံစာကို ဖွင့်ပါ - လင့်ခ်ကို မစစ်ဆေးရသေးပါ
- Source code ကို အများပြည်သူ ကြည့်နိုင်ပါသည်
- ExeAtlas သည် installer များကို မသိမ်းဆည်း၊ မထုပ်ပိုး၊ မပြင်ဆင်ပါ
ဆက်စပ် လမ်းညွှန်: Windows တွင် ဖိုင်၏ SHA256 hash စစ်ဆေးနည်း
မကြာသေးမီ ဗားရှင်းများ
ဗားရှင်း ၁ ခုလုံး ›| ဗားရှင်း | ရက်စွဲ | အရွယ်အစား | ဖိုင်များ |
|---|---|---|---|
| 1.3.3နောက်ဆုံး | ၂၀၂၅ ဒီဇင်ဘာ ၂၉ | — | 64-bit ZIP |
Command line မှ ထည့်သွင်းခြင်း
အသံတိတ်ထည့်သွင်းခြင်း ›winget install --id Microsoft.Tokenizer -eဆက်စပ် လမ်းညွှန်: winget အသုံးပြုနည်း - ပရိုဂရမ် ထည့်သွင်းခြင်းနှင့် အပ်ဒိတ်
အချက်အလက်
- ထုတ်ဝေသူ
- Microsoft Corporation
- အမျိုးအစား
- AI assistant နှင့် LLM
- လိုင်စင်
- MIT
- စျေးနှုန်း
- အခမဲ့
- Source code
- github.com/microsoft/Tokenizer
- ရေးသားထားသည့် ဘာသာ
- C#
- လိုအပ်ချက်
- Windows 11 / 10
- Architecture
- 64-bit
- Installer အမျိုးအစား
- Portable
- ဗားရှင်း
- 1.3.3
- ထုတ်ဝေသည့်နေ့
- ၂၀၂၅ ဒီဇင်ဘာ ၂၉
- စာရင်းထဲ ထည့်သည့်နေ့
- ၂၀၂၅ ဒီဇင်ဘာ ၂၉
- စာရင်းရှိ ဗားရှင်းများ
- 1
- GitHub ကြယ်
- ၂၁၂
- GitHub fork များ
- ၃၆
- ဝဘ်ဆိုက်
- github.com
- winget ID
- Microsoft.Tokenizer
အဆင့်သတ်မှတ်ချက်နှင့် သုံးသပ်ချက်များ
သုံးသပ်ချက် မရှိသေးပါ။ ပထမဆုံး အဆင့်သတ်မှတ်သူ ဖြစ်လိုက်ပါ။
Tokenizer အစားထိုးပရိုဂရမ်များ
အားလုံးကြည့်ရန် ›-
ပွင့်လင်းရင်းမြစ် (open source)၁.၇ သောင်း ↓ -
မူပိုင် (proprietary)၆.၇ သောင်း ↓ -
ပွင့်လင်းရင်းမြစ် (open source)၁.၇ သောင်း ↓ -
ပွင့်လင်းရင်းမြစ် (open source)၈.၇ ထောင် ↓ -
ပွင့်လင်းရင်းမြစ် (open source)၃.၃ ထောင် ↓ -
ပွင့်လင်းရင်းမြစ် (open source)၆၅၄ ↓ -
ပွင့်လင်းရင်းမြစ် (open source)၁.၉ ထောင် ↓ -
ပွင့်လင်းရင်းမြစ် (open source)၁.၄ သောင်း ↓
မေးလေ့ရှိသောမေးခွန်းများ
Tokenizer သည် အခမဲ့လား
ဟုတ်ပါသည်။ Tokenizer သည် ပွင့်လင်းရင်းမြစ် ဆော့ဖ်ဝဲ ဖြစ်ပါသည် (MIT လိုင်စင်)။
Tokenizer ကို ဒေါင်းလုဒ်လုပ်ရန် လုံခြုံပါသလား
ဒေါင်းလုဒ်ကို github.com (ထုတ်ဝေသူပိုင်) မှ ရယူပါသည်။ ExeAtlas သည် ဖိုင်ကို မသိမ်းဆည်း၊ မပြောင်းလဲပါ။ ဖိုင်၏ SHA256 hash ကို ဤနေရာတွင် ပြထားသော hash နှင့် နှိုင်းယှဉ်ပါ သို့မဟုတ် ထို hash ၏ VirusTotal အစီရင်ခံစာကို ဖွင့်ကြည့်ပါ။
Tokenizer ကို winget ဖြင့် ဘယ်လို ထည့်သွင်းရမလဲ
PowerShell သို့မဟုတ် Windows Terminal ကို ဖွင့်ပြီး ဤစာမျက်နှာရှိ winget command ကို run ပါ။ winget သည် တရားဝင် installer ကို ဒေါင်းလုဒ်လုပ်ပြီး မ run မီ ၎င်း၏ SHA256 hash ကို စစ်ဆေးပါသည်။
Tokenizer သည် ARM (Windows on Arm) တွင် အလုပ်လုပ်ပါသလား
ARM64 build မရှိပါ။ Windows 11 on Arm သည် 64-bit ဗားရှင်းကို emulation ဖြင့် run နိုင်ပါသည်။
Tokenizer ကို Administrator ခွင့်မပါဘဲ သုံးနိုင်ပါသလား
သုံးနိုင်ပါသည်။ Portable ဖြစ်သဖြင့် ဖြည်ပြီး run ရုံသာ ဖြစ်ပါသည်။
Tokenizer အစား ဘာတွေ သုံးနိုင်သလဲ
Codex CLI၊ Claude Code၊ ChatGPT၊ GPT4All နှင့် Jan။ အစားထိုးပရိုဂရမ်များ စာမျက်နှာတွင် ၎င်းတို့ကို နှိုင်းယှဉ်ထားပါသည်။
