A Windows desktop application for evaluating local GGUF models served by llama.cpp. It scans a models folder, starts or attaches to a llama-server on 127.0.0.1:8080, and runs configurable test-case suites covering logic, code, format compliance, instruction following, generation speed and long-context handling. Each answer is graded by an automatic check - substring, regex, JSON schema, code execution, LLM-as-judge or embedding similarity - with skipped checks kept out of the score instead of counted as failures. Runs are stored in a SQLite history with per-case drill-down and side-by-side comparison, and can be exported as an HTML report or printed. Also includes a local agent mode that uses the tested model as a subagent, and reports prefill and generation speed, time to first token, model memory usage and layer placement from the server log.
Описание от разработчика (английский)
Что такое LLM Test Bench?
LLM Test Bench — программа для Windows с открытым исходным кодом из категории «ИИ-ассистенты и LLM». Разработчик — aleksandrreva-eng.
Установка и системные требования
Официальные установщики выпускаются для 64-бит; тип установщика — MSI. Её можно установить только для текущего пользователя, без прав администратора. Установщик поддерживает тихую установку без участия пользователя. Есть MSI-пакет для развёртывания через групповые политики, Intune или Configuration Manager.
Плюсы / Минусы
Плюсы
- Открытый исходный код: его можно проверить и собрать самостоятельно
- MSI-пакет для централизованного развёртывания
- Документированная тихая установка
- Устанавливается без прав администратора
- Последнее обновление — меньше двух месяцев назад
Минусы
- Нет нативной сборки ARM64
Коротко: LLM Test Bench — программа для Windows с открытым исходным кодом (категория «ИИ-ассистенты и LLM»); сборки: 64-бит. Администраторы могут развёртывать её без участия пользователя.
Безопасно ли скачивать программу LLM Test Bench?
- Файл загружается с домена разработчика (github.com)
- Ссылка для скачивания использует HTTPS
- Опубликован хеш SHA256 — файл можно проверить:
F2727924C77D44CC79431CEDF1B03A5649E0293F2E8F73D94C108B611ADFF0BD· Открыть отчёт VirusTotal по этому хешу - Ссылка ещё не проверялась
- Исходный код открыт
- ExeAtlas не хранит, не оборачивает и не изменяет установщики
Инструкция по теме: Как проверить хеш SHA256 файла в Windows
Последние версии
Все версии (1) ›| Версия | Дата | Размер | Файлы |
|---|---|---|---|
| 1.0.0Последняя | 29 сентября 2026 г. | — | 64-бит MSI |
Установка из командной строки
Тихая установка ›winget install --id aleksandrreva-eng.llm-test-bench -emsiexec /i LLMTestBench-1.0.0.msi /qn /norestartmsiexec /x {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E} /qn /norestartИнструкция по теме: Как пользоваться winget: установка и обновление
Информация
- Разработчик
- aleksandrreva-eng
- Категория
- ИИ-ассистенты и LLM
- Лицензия
- MIT
- Цена
- Бесплатно
- Требования
- Windows 11 / 10
- Архитектура
- 64-бит
- Установщик
- MSI
- Версия
- 1.0.0
- Дата выхода
- 29 сентября 2026 г.
- Добавлено в каталог
- 20 ноября 2026 г.
- Версий в каталоге
- 1
- Скачиваний на ExeAtlas
- 1
- Сайт
- github.com
- ID winget
- aleksandrreva-eng.llm-test-bench
- Код продукта MSI
- {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E}
Оценки и отзывы
Отзывов пока нет. Оценку можно оставить первым.
Аналоги программы LLM Test Bench
Показать все ›-
Открытый исходный код20,2 тыс. ↓ -
Проприетарная73,6 тыс. ↓ -
Открытый исходный код17,1 тыс. ↓ -
Открытый исходный код8,7 тыс. ↓ -
Открытый исходный код3,5 тыс. ↓ -
Открытый исходный код1,8 тыс. ↓ -
Открытый исходный код14,9 тыс. ↓ -
Открытый исходный код950 ↓
Частые вопросы
Программа LLM Test Bench бесплатная?
Да. LLM Test Bench — программа с открытым исходным кодом (лицензия MIT); скачать и использовать её можно бесплатно.
Безопасно ли скачивать программу LLM Test Bench?
Файл загружается с github.com — этот домен принадлежит разработчику; ExeAtlas не хранит и не изменяет файл. Сравните SHA256 скачанного файла с указанным на этой странице или откройте отчёт VirusTotal по этому хешу.
Как установить LLM Test Bench через winget?
Откройте PowerShell или Терминал Windows и выполните команду winget с этой страницы. winget скачает официальный установщик и проверит его хеш SHA256 перед запуском.
Можно ли установить LLM Test Bench в тихом режиме?
Да. На странице тихой установки приведена точная команда для каждого установщика, включая msiexec для MSI-пакета.
Работает ли LLM Test Bench на ARM (Windows on Arm)?
Сборки ARM64 нет; Windows 11 on Arm может запустить версию 64-бит через эмуляцию.
Можно ли пользоваться программой LLM Test Bench без прав администратора?
Да, есть установщик для текущего пользователя, которому не нужны права администратора.
Какие есть аналоги программы LLM Test Bench?
Codex CLI, Claude Code, ChatGPT by lencx, GPT4All и Jan. Их сравнение — на странице аналогов.