A Windows desktop application for evaluating local GGUF models served by llama.cpp. It scans a models folder, starts or attaches to a llama-server on 127.0.0.1:8080, and runs configurable test-case suites covering logic, code, format compliance, instruction following, generation speed and long-context handling. Each answer is graded by an automatic check - substring, regex, JSON schema, code execution, LLM-as-judge or embedding similarity - with skipped checks kept out of the score instead of counted as failures. Runs are stored in a SQLite history with per-case drill-down and side-by-side comparison, and can be exported as an HTML report or printed. Also includes a local agent mode that uses the tested model as a subagent, and reports prefill and generation speed, time to first token, model memory usage and layer placement from the server log.
Maelezo ya mchapishaji (Kiingereza)
LLM Test Bench ni nini?
LLM Test Bench ni programu ya chanzo huria ya Windows kutoka aleksandrreva-eng, katika kategoria ya “Wasaidizi wa AI na LLM”.
Usakinishaji na mahitaji
Kuna visakinishi rasmi kwa 64-bit katika muundo wa MSI. Inaweza kusakinishwa kwa mtumiaji wa sasa pekee, bila haki za msimamizi. Kisakinishi kinaruhusu usakinishaji bila maswali (kimya). Kuna kifurushi cha MSI cha kusambaza kupitia Group Policy, Intune au Configuration Manager.
Faida / Hasara
Faida
- Chanzo huria: mtu yeyote anaweza kukagua na kujenga msimbo
- Kifurushi cha MSI kwa usambazaji unaosimamiwa
- Usakinishaji kimya umeelezwa
- Inasakinishwa bila haki za msimamizi
- Imesasishwa ndani ya miezi miwili iliyopita
Hasara
- Hakuna toleo asili la ARM64
Kwa ufupi: LLM Test Bench ni zana ya chanzo huria ya kundi la “Wasaidizi wa AI na LLM” kwa kompyuta za 64-bit. Wasimamizi wa mifumo wanaweza kuisambaza bila maswali.
Je, ni salama kupakua LLM Test Bench?
- Faili inatolewa na github.com, kikoa cha mchapishaji mwenyewe
- Kiungo cha kupakua kinatumia HTTPS
- Hashi ya SHA256 imechapishwa, hivyo unaweza kuthibitisha faili:
F2727924C77D44CC79431CEDF1B03A5649E0293F2E8F73D94C108B611ADFF0BD· Fungua ripoti ya VirusTotal ya hashi hii - Kiungo bado hakijakaguliwa
- Msimbo chanzo uko wazi kwa umma
- ExeAtlas haihifadhi, haifungi wala haibadilishi visakinishi
Mwongozo unaohusiana: Jinsi ya kukagua hashi ya SHA256 ya faili kwenye Windows
Matoleo ya karibuni
Toleo 1 ›| Toleo | Tarehe | Ukubwa | Faili |
|---|---|---|---|
| 1.0.0Jipya zaidi | 29 Septemba 2026 | — | 64-bit MSI |
Kusakinisha kwa mstari wa amri
Usakinishaji kimya ›winget install --id aleksandrreva-eng.llm-test-bench -emsiexec /i LLMTestBench-1.0.0.msi /qn /norestartmsiexec /x {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E} /qn /norestartMwongozo unaohusiana: Jinsi ya kutumia winget: sakinisha na sasisha programu
Taarifa
- Mchapishaji
- aleksandrreva-eng
- Kategoria
- Wasaidizi wa AI na LLM
- Leseni
- MIT
- Bei
- Bure
- Inahitaji
- Windows 11 / 10
- Usanifu
- 64-bit
- Kisakinishi
- MSI
- Toleo
- 1.0.0
- Ilitolewa
- 29 Septemba 2026
- Iliongezwa kwenye orodha
- 20 Novemba 2026
- Matoleo yaliyoorodheshwa
- 1
- Vipakuliwa kupitia ExeAtlas
- 1
- Tovuti
- github.com
- Kitambulisho cha winget
- aleksandrreva-eng.llm-test-bench
- Msimbo wa bidhaa wa MSI
- {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E}
Ukadiriaji na maoni
Bado hakuna maoni. Kuwa wa kwanza kuikadiria.
Mbadala wa LLM Test Bench
Ona zote ›-
Chanzo huriaelfu 20.2 ↓ -
Ya umilikielfu 73.6 ↓ -
Chanzo huriaelfu 17.1 ↓ -
Chanzo huriaelfu 8.7 ↓ -
Chanzo huriaelfu 3.5 ↓ -
Chanzo huriaelfu 1.8 ↓ -
Chanzo huriaelfu 14.9 ↓ -
Chanzo huria950 ↓
Maswali yanayoulizwa mara kwa mara
Je, LLM Test Bench ni bure?
Ndiyo. LLM Test Bench ni programu ya chanzo huria chini ya leseni ya MIT.
Je, ni salama kupakua LLM Test Bench?
Faili inapakuliwa kutoka github.com, ambayo ni ya mchapishaji mwenyewe; ExeAtlas haihifadhi wala haibadilishi faili. Linganisha hashi yake ya SHA256 na ile iliyoonyeshwa hapa, au fungua ripoti ya VirusTotal ya hashi hiyo.
Jinsi ya kusakinisha LLM Test Bench kwa winget?
Fungua PowerShell au Windows Terminal na uendeshe amri ya winget iliyoonyeshwa kwenye ukurasa huu. winget hupakua kisakinishi rasmi na kukagua hashi yake ya SHA256 kabla ya kukiendesha.
Je, LLM Test Bench inaweza kusakinishwa kimya?
Ndiyo. Ukurasa wa usakinishaji kimya unaonyesha amri kamili kwa kila kisakinishi, ikiwemo msiexec kwa kifurushi cha MSI.
Je, LLM Test Bench inafanya kazi kwenye ARM (Windows on Arm)?
Hakuna toleo la ARM64; Windows 11 on Arm inaweza kuendesha toleo la 64-bit kupitia uigaji (emulation).
Je, LLM Test Bench inaweza kutumika bila haki za msimamizi?
Ndiyo, kuna kisakinishi cha mtumiaji mmoja kisichohitaji haki za msimamizi.
Ni programu gani mbadala wa LLM Test Bench?
Codex CLI, Claude Code, ChatGPT by lencx, GPT4All na Jan. Ukurasa wa mbadala unazilinganisha.