A Windows desktop application for evaluating local GGUF models served by llama.cpp. It scans a models folder, starts or attaches to a llama-server on 127.0.0.1:8080, and runs configurable test-case suites covering logic, code, format compliance, instruction following, generation speed and long-context handling. Each answer is graded by an automatic check - substring, regex, JSON schema, code execution, LLM-as-judge or embedding similarity - with skipped checks kept out of the score instead of counted as failures. Runs are stored in a SQLite history with per-case drill-down and side-by-side comparison, and can be exported as an HTML report or printed. Also includes a local agent mode that uses the tested model as a subagent, and reports prefill and generation speed, time to first token, model memory usage and layer placement from the server log.
Апісанне ад распрацоўшчыка (англійская)
Што такое LLM Test Bench?
LLM Test Bench — праграма для Windows з адкрытым зыходным кодам з катэгорыі «ШІ-памочнікі і LLM». Распрацоўшчык — aleksandrreva-eng.
Устаноўка і сістэмныя патрабаванні
Афіцыйныя ўсталёўшчыкі выпускаюцца для 64-біт; тып усталёўшчыка — MSI. Яе можна ўсталяваць толькі для бягучага карыстальніка, без правоў адміністратара. Усталёўшчык падтрымлівае ціхую ўстаноўку без удзелу карыстальніка. Ёсць MSI-пакет для разгортвання праз групавыя палітыкі, Intune або Configuration Manager.
Перавагі / Недахопы
Перавагі
- Адкрыты зыходны код: яго можна праверыць і сабраць самастойна
- MSI-пакет для цэнтралізаванага разгортвання
- Апісаная ціхая ўстаноўка
- Усталёўваецца без правоў адміністратара
- Апошняе абнаўленне — менш за два месяцы таму
Недахопы
- Няма натыўнай зборкі ARM64
Коратка: LLM Test Bench — праграма для Windows з адкрытым зыходным кодам (катэгорыя «ШІ-памочнікі і LLM»); зборкі: 64-біт. Адміністратары могуць разгортваць яе без удзелу карыстальніка.
Ці бяспечна спампоўваць праграму LLM Test Bench?
- Файл спампоўваецца з дамена распрацоўшчыка (github.com)
- Спасылка на спампоўку выкарыстоўвае HTTPS
- Апублікаваны хэш SHA256 — файл можна праверыць:
F2727924C77D44CC79431CEDF1B03A5649E0293F2E8F73D94C108B611ADFF0BD· Адкрыць справаздачу VirusTotal для гэтага хэша - Спасылка яшчэ не правяралася
- Зыходны код адкрыты
- ExeAtlas не захоўвае, не абгортвае і не змяняе ўсталёўшчыкі
Інструкцыя па тэме: Як праверыць хэш SHA256 файла ў Windows
Апошнія версіі
Усе версіі (1) ›| Версія | Дата | Памер | Файлы |
|---|---|---|---|
| 1.0.0Апошняя | 29 верасня 2026 г. | — | 64-біт MSI |
Устаноўка з каманднага радка
Ціхая ўстаноўка ›winget install --id aleksandrreva-eng.llm-test-bench -emsiexec /i LLMTestBench-1.0.0.msi /qn /norestartmsiexec /x {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E} /qn /norestartІнструкцыя па тэме: Як карыстацца winget: устаноўка і абнаўленне
Інфармацыя
- Распрацоўшчык
- aleksandrreva-eng
- Катэгорыя
- ШІ-памочнікі і LLM
- Ліцэнзія
- MIT
- Кошт
- Бясплатна
- Патрабаванні
- Windows 11 / 10
- Архітэктура
- 64-біт
- Усталёўшчык
- MSI
- Версія
- 1.0.0
- Дата выхаду
- 29 верасня 2026 г.
- Дададзена ў каталог
- 20 лістапада 2026 г.
- Версій у каталогу
- 1
- Спамповак на ExeAtlas
- 1
- Сайт
- github.com
- ID winget
- aleksandrreva-eng.llm-test-bench
- Код прадукту MSI
- {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E}
Ацэнкі і водгукі
Водгукаў пакуль няма. Можна ацаніць першым.
Аналагі праграмы LLM Test Bench
Паказаць усе ›-
Адкрыты код20,2 тыс. ↓ -
Прапрыетарная73,6 тыс. ↓ -
Адкрыты код17,1 тыс. ↓ -
Адкрыты код8,7 тыс. ↓ -
Адкрыты код3,5 тыс. ↓ -
Адкрыты код1,8 тыс. ↓ -
Адкрыты код14,9 тыс. ↓ -
Адкрыты код950 ↓
Частыя пытанні
Праграма LLM Test Bench бясплатная?
Так. LLM Test Bench — праграма з адкрытым зыходным кодам (ліцэнзія MIT); спампаваць і выкарыстоўваць яе можна бясплатна.
Ці бяспечна спампоўваць праграму LLM Test Bench?
Файл спампоўваецца з github.com — гэты дамен належыць распрацоўшчыку; ExeAtlas не захоўвае і не змяняе файл. Параўнайце SHA256 спампаванага файла з пазначаным на гэтай старонцы або адкрыйце справаздачу VirusTotal для гэтага хэша.
Як усталяваць LLM Test Bench праз winget?
Адкрыйце PowerShell або Тэрмінал Windows і выканайце каманду winget з гэтай старонкі. winget спампуе афіцыйны ўсталёўшчык і праверыць яго хэш SHA256 перад запускам.
Ці можна ўсталяваць LLM Test Bench у ціхім рэжыме?
Так. На старонцы ціхай устаноўкі пададзена дакладная каманда для кожнага ўсталёўшчыка, у тым ліку msiexec для MSI-пакета.
Ці працуе LLM Test Bench на ARM (Windows on Arm)?
Зборкі ARM64 няма; Windows 11 on Arm можа запусціць версію 64-біт праз эмуляцыю.
Ці можна карыстацца праграмай LLM Test Bench без правоў адміністратара?
Так, ёсць усталёўшчык для бягучага карыстальніка, якому не патрэбныя правы адміністратара.
Якія ёсць аналагі праграмы LLM Test Bench?
Codex CLI, Claude Code, ChatGPT by lencx, GPT4All і Jan. Іх параўнанне — на старонцы аналагаў.