LLM inference in C/C++
ထုတ်ဝေသူ၏ ဖော်ပြချက် (အင်္ဂလိပ်)
llama.cpp ဆိုတာ ဘာလဲ
llama.cpp သည် ggml ထုတ်ဝေသော Windows အတွက် ပွင့်လင်းရင်းမြစ် ပရိုဂရမ် ဖြစ်ပါသည်။ C++ - Cနှင့် Python ဖြင့် ရေးသားထားပါသည်။ Windows အပြင် လင်းနပ်စ်၊ macOS၊ မိုက်ခရိုဆော့ဖ် ဝင်းဒိုးစ် နှင့် FreeBSD အတွက်လည်း ရနိုင်ပါသည်။
ထည့်သွင်းခြင်းနှင့် လိုအပ်ချက်များ
တရားဝင် installer များကို 64-bit အတွက် Portable ပုံစံဖြင့် ရနိုင်ပါသည်။ ထည့်သွင်းစရာမလိုဘဲ တိုက်ရိုက် run နိုင်ပါသည် (portable)။
အပ်ဒိတ်များနှင့် ဗားရှင်းမှတ်တမ်း
နောက်ဆုံးဗားရှင်းမှာ b9994 ဖြစ်ပါသည် (၂၀၂၆ ဇူလိုင် ၁၄ တွင် ထုတ်ဝေ)။ ၂၀၂၆ ဇူလိုင် ၁၅ မှစ၍ ဗားရှင်း ၄၃၆ ခုကို စာရင်းပြုထားပြီး တစ်ခုစီတွင် ကိုယ်ပိုင် installer ဖိုင်လင့်ခ်များ ပါဝင်ပါသည်။ ဆိုလိုသည်မှာ တစ်နှစ်လျှင် ထုတ်ဝေမှု ၃၀၃ ခုခန့် ဖြစ်ပါသည်။
လူကြိုက်များမှုနှင့် ဖိုင်အမျိုးအစားများ
GitHub ပေါ်ရှိ source code (ggml-org/llama.cpp) တွင် ကြယ် ၁၃၁,၉၉၈ ပွင့် ရှိပါသည်။ ကျွန်ုပ်တို့၏ ဘာသာစကား ၇ မျိုးဖြင့် Wikipedia ဆောင်းပါး ရှိပါသည်။
GitHub ပေါ်ရှိ ပရောဂျက်ဖော်ပြချက်: “LLM inference in C/C++”
အားသာချက်များ / အားနည်းချက်များ
အားသာချက်များ
- ပွင့်လင်းရင်းမြစ် - code ကို မည်သူမဆို စစ်ဆေး၍ build လုပ်နိုင်သည်
- Portable - ထည့်သွင်းစရာမလိုဘဲ run နိုင်သည်
- မကြာခဏ အပ်ဒိတ်ထွက်သည် (တစ်နှစ်လျှင် ၃၀၃ ခုခန့်)
- လင်းနပ်စ်၊ macOS နှင့် မိုက်ခရိုဆော့ဖ် ဝင်းဒိုးစ် တွင်လည်း အလုပ်လုပ်သည်
- အသုံးပြုသူ အများအပြား ရှိသည်
အားနည်းချက်များ
- Native ARM64 build မရှိပါ
အတိုချုပ်: llama.cpp သည် 64-bit ကွန်ပျူတာများအတွက် ပွင့်လင်းရင်းမြစ် Windows ကိရိယာ ဖြစ်ပါသည်။ တက်ကြွစွာ ထိန်းသိမ်းနေဆဲ ဖြစ်ပါသည်။
llama.cpp ကို ဒေါင်းလုဒ်လုပ်ရန် လုံခြုံပါသလား
- ဖိုင်ကို ထုတ်ဝေသူ၏ ကိုယ်ပိုင်ဒိုမိန်း github.com မှ ပေးပို့ပါသည်
- ဒေါင်းလုဒ်လင့်ခ်သည် HTTPS ကို အသုံးပြုပါသည်
- SHA256 hash ထုတ်ပြန်ထားသဖြင့် ဖိုင်ကို စစ်ဆေးနိုင်ပါသည်:
E21E93ED9E7A65682AC562CA48F97F7D0158DA4826E617613F22F417548CF59F· ဤ hash ၏ VirusTotal အစီရင်ခံစာကို ဖွင့်ပါ - လင့်ခ်ကို မစစ်ဆေးရသေးပါ
- Source code ကို အများပြည်သူ ကြည့်နိုင်ပါသည်
- ExeAtlas သည် installer များကို မသိမ်းဆည်း၊ မထုပ်ပိုး၊ မပြင်ဆင်ပါ
ဆက်စပ် လမ်းညွှန်: Windows တွင် ဖိုင်၏ SHA256 hash စစ်ဆေးနည်း
မကြာသေးမီ ဗားရှင်းများ
ဗားရှင်း ၄၃၆ ခုလုံး ›၁ နှစ်အတွင်း ဗားရှင်း ၄၃၆ ခု · တစ်နှစ်လျှင် ၃၀၃ ခုခန့်
| ဗားရှင်း | ရက်စွဲ | အရွယ်အစား | ဖိုင်များ |
|---|---|---|---|
| b9994နောက်ဆုံး | ၂၀၂၆ ဇူလိုင် ၁၄ | — | 64-bit ZIP |
| b9982 | ၂၀၂၆ ဇူလိုင် ၁၃ | — | 64-bit ZIP |
| b9969 | ၂၀၂၆ ဇူလိုင် ၁၂ | — | 64-bit ZIP |
| b9957 | ၂၀၂၆ ဇူလိုင် ၁၀ | — | 64-bit ZIP |
| b9947 | ၂၀၂၆ ဇူလိုင် ၁၀ | — | 64-bit ZIP |
| b9935 | ၂၀၂၆ ဇူလိုင် ၉ | — | 64-bit ZIP |
| b9910 | ၂၀၂၆ ဇူလိုင် ၈ | — | 64-bit ZIP |
| b9893 | ၂၀၂၆ ဇူလိုင် ၇ | — | 64-bit ZIP |
Command line မှ ထည့်သွင်းခြင်း
အသံတိတ်ထည့်သွင်းခြင်း ›winget install --id ggml.llamacpp -eဆက်စပ် လမ်းညွှန်: winget အသုံးပြုနည်း - ပရိုဂရမ် ထည့်သွင်းခြင်းနှင့် အပ်ဒိတ်
အချက်အလက်
- ထုတ်ဝေသူ
- ggml
- လိုင်စင်
- MIT
- စျေးနှုန်း
- အခမဲ့
- Source code
- github.com/ggml-org/llama.cpp
- ရေးသားထားသည့် ဘာသာ
- C++ - Cနှင့် Python
- လိုအပ်ချက်
- Windows 11 / 10
- Architecture
- 64-bit
- Installer အမျိုးအစား
- Portable
- အခြား platform များ
- လင်းနပ်စ်, macOS, မိုက်ခရိုဆော့ဖ် ဝင်းဒိုးစ်, FreeBSD
- ဗားရှင်း
- b9994
- ထုတ်ဝေသည့်နေ့
- ၂၀၂၆ ဇူလိုင် ၁၄
- စာရင်းထဲ ထည့်သည့်နေ့
- ၂၀၂၅ မေ ၂၁
- စာရင်းရှိ ဗားရှင်းများ
- 436
- တစ်နှစ်လျှင် အပ်ဒိတ်
- ၃၀၃.၃
- GitHub ကြယ်
- ၁၃၁,၉၉၈
- GitHub fork များ
- ၂၄,၆၇၁
- ဝဘ်ဆိုက်
- github.com
- winget ID
- ggml.llamacpp
အဆင့်သတ်မှတ်ချက်နှင့် သုံးသပ်ချက်များ
သုံးသပ်ချက် မရှိသေးပါ။ ပထမဆုံး အဆင့်သတ်မှတ်သူ ဖြစ်လိုက်ပါ။
မေးလေ့ရှိသောမေးခွန်းများ
llama.cpp သည် အခမဲ့လား
ဟုတ်ပါသည်။ llama.cpp သည် ပွင့်လင်းရင်းမြစ် ဆော့ဖ်ဝဲ ဖြစ်ပါသည် (MIT လိုင်စင်)။
llama.cpp ကို ဒေါင်းလုဒ်လုပ်ရန် လုံခြုံပါသလား
ဒေါင်းလုဒ်ကို github.com (ထုတ်ဝေသူပိုင်) မှ ရယူပါသည်။ ExeAtlas သည် ဖိုင်ကို မသိမ်းဆည်း၊ မပြောင်းလဲပါ။ ဖိုင်၏ SHA256 hash ကို ဤနေရာတွင် ပြထားသော hash နှင့် နှိုင်းယှဉ်ပါ သို့မဟုတ် ထို hash ၏ VirusTotal အစီရင်ခံစာကို ဖွင့်ကြည့်ပါ။
llama.cpp ကို winget ဖြင့် ဘယ်လို ထည့်သွင်းရမလဲ
PowerShell သို့မဟုတ် Windows Terminal ကို ဖွင့်ပြီး ဤစာမျက်နှာရှိ winget command ကို run ပါ။ winget သည် တရားဝင် installer ကို ဒေါင်းလုဒ်လုပ်ပြီး မ run မီ ၎င်း၏ SHA256 hash ကို စစ်ဆေးပါသည်။
llama.cpp သည် ARM (Windows on Arm) တွင် အလုပ်လုပ်ပါသလား
ARM64 build မရှိပါ။ Windows 11 on Arm သည် 64-bit ဗားရှင်းကို emulation ဖြင့် run နိုင်ပါသည်။
llama.cpp ဗားရှင်းဟောင်းကို ဘယ်မှာ ဒေါင်းလုဒ်လုပ်ရမလဲ
ဗားရှင်းများ စာမျက်နှာတွင် ဗားရှင်း ၄၃၆ ခုလုံးကို ၂၀၂၆ ဇူလိုင် ၁၅ အထိ တရားဝင် installer ဖိုင်လင့်ခ်များနှင့်အတူ စာရင်းပြုထားပါသည်။
llama.cpp ကို Administrator ခွင့်မပါဘဲ သုံးနိုင်ပါသလား
သုံးနိုင်ပါသည်။ Portable ဖြစ်သဖြင့် ဖြည်ပြီး run ရုံသာ ဖြစ်ပါသည်။