A Windows desktop application for evaluating local GGUF models served by llama.cpp. It scans a models folder, starts or attaches to a llama-server on 127.0.0.1:8080, and runs configurable test-case suites covering logic, code, format compliance, instruction following, generation speed and long-context handling. Each answer is graded by an automatic check - substring, regex, JSON schema, code execution, LLM-as-judge or embedding similarity - with skipped checks kept out of the score instead of counted as failures. Runs are stored in a SQLite history with per-case drill-down and side-by-side comparison, and can be exported as an HTML report or printed. Also includes a local agent mode that uses the tested model as a subagent, and reports prefill and generation speed, time to first token, model memory usage and layer placement from the server log.
ထုတ်ဝေသူ၏ ဖော်ပြချက် (အင်္ဂလိပ်)
LLM Test Bench ဆိုတာ ဘာလဲ
LLM Test Bench သည် aleksandrreva-eng ထုတ်ဝေသော Windows အတွက် ပွင့်လင်းရင်းမြစ် AI assistant နှင့် LLM အမျိုးအစား ပရိုဂရမ် ဖြစ်ပါသည်။
ထည့်သွင်းခြင်းနှင့် လိုအပ်ချက်များ
တရားဝင် installer များကို 64-bit အတွက် MSI ပုံစံဖြင့် ရနိုင်ပါသည်။ Administrator ခွင့်မလိုဘဲ လက်ရှိအသုံးပြုသူအတွက်သာ ထည့်သွင်းနိုင်ပါသည်။ Installer သည် လူမပါဘဲ အလိုအလျောက် (အသံတိတ်) ထည့်သွင်းခြင်းကို ပံ့ပိုးပါသည်။ Group Policy၊ Intune သို့မဟုတ် Configuration Manager ဖြင့် ဖြန့်ဝေရန် MSI package ရနိုင်ပါသည်။
အားသာချက်များ / အားနည်းချက်များ
အားသာချက်များ
- ပွင့်လင်းရင်းမြစ် - code ကို မည်သူမဆို စစ်ဆေး၍ build လုပ်နိုင်သည်
- စီမံဖြန့်ဝေရန် MSI package ရှိသည်
- အသံတိတ်ထည့်သွင်းခြင်းကို မှတ်တမ်းတင်ထားသည်
- Administrator ခွင့်မလိုဘဲ ထည့်သွင်းနိုင်သည်
- ပြီးခဲ့သော နှစ်လအတွင်း အပ်ဒိတ်ထွက်ခဲ့သည်
အားနည်းချက်များ
- Native ARM64 build မရှိပါ
အတိုချုပ်: LLM Test Bench သည် 64-bit ကွန်ပျူတာများအတွက် ပွင့်လင်းရင်းမြစ် AI assistant နှင့် LLM ကိရိယာ ဖြစ်ပါသည်။ စီမံခန့်ခွဲသူများသည် လူမပါဘဲ ဖြန့်ဝေနိုင်ပါသည်။
LLM Test Bench ကို ဒေါင်းလုဒ်လုပ်ရန် လုံခြုံပါသလား
- ဖိုင်ကို ထုတ်ဝေသူ၏ ကိုယ်ပိုင်ဒိုမိန်း github.com မှ ပေးပို့ပါသည်
- ဒေါင်းလုဒ်လင့်ခ်သည် HTTPS ကို အသုံးပြုပါသည်
- SHA256 hash ထုတ်ပြန်ထားသဖြင့် ဖိုင်ကို စစ်ဆေးနိုင်ပါသည်:
F2727924C77D44CC79431CEDF1B03A5649E0293F2E8F73D94C108B611ADFF0BD· ဤ hash ၏ VirusTotal အစီရင်ခံစာကို ဖွင့်ပါ - လင့်ခ်ကို မစစ်ဆေးရသေးပါ
- Source code ကို အများပြည်သူ ကြည့်နိုင်ပါသည်
- ExeAtlas သည် installer များကို မသိမ်းဆည်း၊ မထုပ်ပိုး၊ မပြင်ဆင်ပါ
ဆက်စပ် လမ်းညွှန်: Windows တွင် ဖိုင်၏ SHA256 hash စစ်ဆေးနည်း
မကြာသေးမီ ဗားရှင်းများ
ဗားရှင်း ၁ ခုလုံး ›| ဗားရှင်း | ရက်စွဲ | အရွယ်အစား | ဖိုင်များ |
|---|---|---|---|
| 1.0.0နောက်ဆုံး | ၂၀၂၆ စက်တင်ဘာ ၂၉ | — | 64-bit MSI |
Command line မှ ထည့်သွင်းခြင်း
အသံတိတ်ထည့်သွင်းခြင်း ›winget install --id aleksandrreva-eng.llm-test-bench -emsiexec /i LLMTestBench-1.0.0.msi /qn /norestartmsiexec /x {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E} /qn /norestartဆက်စပ် လမ်းညွှန်: winget အသုံးပြုနည်း - ပရိုဂရမ် ထည့်သွင်းခြင်းနှင့် အပ်ဒိတ်
အချက်အလက်
- ထုတ်ဝေသူ
- aleksandrreva-eng
- အမျိုးအစား
- AI assistant နှင့် LLM
- လိုင်စင်
- MIT
- စျေးနှုန်း
- အခမဲ့
- လိုအပ်ချက်
- Windows 11 / 10
- Architecture
- 64-bit
- Installer အမျိုးအစား
- MSI
- ဗားရှင်း
- 1.0.0
- ထုတ်ဝေသည့်နေ့
- ၂၀၂၆ စက်တင်ဘာ ၂၉
- စာရင်းထဲ ထည့်သည့်နေ့
- ၂၀၂၆ နိုဝင်ဘာ ၂၀
- စာရင်းရှိ ဗားရှင်းများ
- 1
- ExeAtlas မှ ဒေါင်းလုဒ်
- ၁
- ဝဘ်ဆိုက်
- github.com
- winget ID
- aleksandrreva-eng.llm-test-bench
- MSI product code
- {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E}
အဆင့်သတ်မှတ်ချက်နှင့် သုံးသပ်ချက်များ
သုံးသပ်ချက် မရှိသေးပါ။ ပထမဆုံး အဆင့်သတ်မှတ်သူ ဖြစ်လိုက်ပါ။
LLM Test Bench အစားထိုးပရိုဂရမ်များ
အားလုံးကြည့်ရန် ›-
ပွင့်လင်းရင်းမြစ် (open source)၂ သောင်း ↓ -
မူပိုင် (proprietary)၇.၄ သောင်း ↓ -
ပွင့်လင်းရင်းမြစ် (open source)၁.၇ သောင်း ↓ -
ပွင့်လင်းရင်းမြစ် (open source)၈.၇ ထောင် ↓ -
ပွင့်လင်းရင်းမြစ် (open source)၃.၅ ထောင် ↓ -
ပွင့်လင်းရင်းမြစ် (open source)၁.၈ ထောင် ↓ -
ပွင့်လင်းရင်းမြစ် (open source)၁.၅ သောင်း ↓ -
ပွင့်လင်းရင်းမြစ် (open source)၉၅၀ ↓
မေးလေ့ရှိသောမေးခွန်းများ
LLM Test Bench သည် အခမဲ့လား
ဟုတ်ပါသည်။ LLM Test Bench သည် ပွင့်လင်းရင်းမြစ် ဆော့ဖ်ဝဲ ဖြစ်ပါသည် (MIT လိုင်စင်)။
LLM Test Bench ကို ဒေါင်းလုဒ်လုပ်ရန် လုံခြုံပါသလား
ဒေါင်းလုဒ်ကို github.com (ထုတ်ဝေသူပိုင်) မှ ရယူပါသည်။ ExeAtlas သည် ဖိုင်ကို မသိမ်းဆည်း၊ မပြောင်းလဲပါ။ ဖိုင်၏ SHA256 hash ကို ဤနေရာတွင် ပြထားသော hash နှင့် နှိုင်းယှဉ်ပါ သို့မဟုတ် ထို hash ၏ VirusTotal အစီရင်ခံစာကို ဖွင့်ကြည့်ပါ။
LLM Test Bench ကို winget ဖြင့် ဘယ်လို ထည့်သွင်းရမလဲ
PowerShell သို့မဟုတ် Windows Terminal ကို ဖွင့်ပြီး ဤစာမျက်နှာရှိ winget command ကို run ပါ။ winget သည် တရားဝင် installer ကို ဒေါင်းလုဒ်လုပ်ပြီး မ run မီ ၎င်း၏ SHA256 hash ကို စစ်ဆေးပါသည်။
LLM Test Bench ကို အသံတိတ် ထည့်သွင်းနိုင်ပါသလား
နိုင်ပါသည်။ အသံတိတ်ထည့်သွင်းခြင်း စာမျက်နှာတွင် installer တစ်ခုစီအတွက် တိကျသော command ကို ပြထားပါသည် (MSI package အတွက် msiexec အပါအဝင်)။
LLM Test Bench သည် ARM (Windows on Arm) တွင် အလုပ်လုပ်ပါသလား
ARM64 build မရှိပါ။ Windows 11 on Arm သည် 64-bit ဗားရှင်းကို emulation ဖြင့် run နိုင်ပါသည်။
LLM Test Bench ကို Administrator ခွင့်မပါဘဲ သုံးနိုင်ပါသလား
သုံးနိုင်ပါသည်။ Administrator ခွင့်မလိုသော အသုံးပြုသူတစ်ဦးချင်းအတွက် installer ရှိပါသည်။
LLM Test Bench အစား ဘာတွေ သုံးနိုင်သလဲ
Codex CLI၊ Claude Code၊ ChatGPT by lencx၊ GPT4All နှင့် Jan။ အစားထိုးပရိုဂရမ်များ စာမျက်နှာတွင် ၎င်းတို့ကို နှိုင်းယှဉ်ထားပါသည်။