A Windows desktop application for evaluating local GGUF models served by llama.cpp. It scans a models folder, starts or attaches to a llama-server on 127.0.0.1:8080, and runs configurable test-case suites covering logic, code, format compliance, instruction following, generation speed and long-context handling. Each answer is graded by an automatic check - substring, regex, JSON schema, code execution, LLM-as-judge or embedding similarity - with skipped checks kept out of the score instead of counted as failures. Runs are stored in a SQLite history with per-case drill-down and side-by-side comparison, and can be exported as an HTML report or printed. Also includes a local agent mode that uses the tested model as a subagent, and reports prefill and generation speed, time to first token, model memory usage and layer placement from the server log.
Beschreibung des Herstellers (Englisch)
Was ist LLM Test Bench?
LLM Test Bench ist ein quelloffenes Windows-Programm aus der Kategorie „KI-Assistenten & LLMs“ von aleksandrreva-eng.
Installation und Systemvoraussetzungen
Offizielle Installationsdateien gibt es für 64-Bit im Format MSI. Eine Installation nur für den aktuellen Benutzer ist ohne Administratorrechte möglich. Das Setup unterstützt eine unbeaufsichtigte Installation ohne Rückfragen. Für die Verteilung per Gruppenrichtlinie, Intune oder Configuration Manager steht ein MSI-Paket bereit.
Vorteile / Nachteile
Vorteile
- Open Source: Der Quellcode ist einsehbar und lässt sich selbst kompilieren
- MSI-Paket für die zentrale Softwareverteilung
- Dokumentierte stille Installation
- Installation ohne Administratorrechte möglich
- In den letzten zwei Monaten aktualisiert
Nachteile
- Keine native ARM64-Version
Kurz gesagt: LLM Test Bench ist ein quelloffenes Tool aus der Kategorie „KI-Assistenten & LLMs“ für PCs mit 64-Bit. Administratoren können es unbeaufsichtigt verteilen.
Ist der Download von LLM Test Bench sicher?
- Die Datei kommt von github.com, einer Domain des Herstellers
- Der Download-Link verwendet HTTPS
- Ein SHA256-Hash ist veröffentlicht, die Datei lässt sich also prüfen:
F2727924C77D44CC79431CEDF1B03A5649E0293F2E8F73D94C108B611ADFF0BD· VirusTotal-Bericht zu diesem Hash öffnen - Der Link wurde noch nicht geprüft
- Der Quellcode ist öffentlich
- ExeAtlas hostet, verpackt oder verändert keine Installer
Passende Anleitung: SHA256-Hash einer Datei unter Windows prüfen
Neueste Versionen
Alle 1 Versionen ›| Version | Datum | Größe | Dateien |
|---|---|---|---|
| 1.0.0Aktuell | 29. September 2026 | — | 64-Bit MSI |
Installation per Kommandozeile
Silent Install ›winget install --id aleksandrreva-eng.llm-test-bench -emsiexec /i LLMTestBench-1.0.0.msi /qn /norestartmsiexec /x {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E} /qn /norestartPassende Anleitung: winget-Anleitung: Programme installieren und updaten
Informationen
- Hersteller
- aleksandrreva-eng
- Kategorie
- KI-Assistenten & LLMs
- Lizenz
- MIT
- Preis
- Kostenlos
- Voraussetzung
- Windows 11 / 10
- Architektur
- 64-Bit
- Installer
- MSI
- Version
- 1.0.0
- Veröffentlicht
- 29. September 2026
- Im Katalog seit
- 20. November 2026
- Erfasste Versionen
- 1
- Downloads über ExeAtlas
- 1
- Website
- github.com
- winget-ID
- aleksandrreva-eng.llm-test-bench
- MSI-Produktcode
- {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E}
Bewertungen und Rezensionen
Noch keine Rezensionen. Geben Sie die erste Bewertung ab.
Alternativen zu LLM Test Bench
Alle anzeigen ›-
Open Source20.244 ↓ -
Proprietär73.558 ↓ -
Open Source17.053 ↓ -
Open Source8664 ↓ -
Open Source3459 ↓ -
Open Source1814 ↓ -
Open Source14.865 ↓ -
Open Source950 ↓
Häufige Fragen
Ist LLM Test Bench kostenlos?
Ja. LLM Test Bench ist Open-Source-Software unter der Lizenz MIT.
Ist der Download von LLM Test Bench sicher?
Die Datei kommt von github.com, einer Domain des Herstellers; ExeAtlas hostet oder verändert sie nicht. Vergleichen Sie den SHA256-Hash der heruntergeladenen Datei mit dem hier angezeigten oder öffnen Sie den VirusTotal-Bericht zu diesem Hash.
Wie installiere ich LLM Test Bench mit winget?
Öffnen Sie PowerShell oder Windows Terminal und führen Sie den winget-Befehl auf dieser Seite aus. winget lädt das offizielle Setup herunter und prüft vor dem Start den SHA256-Hash.
Lässt sich LLM Test Bench still (silent) installieren?
Ja. Die Seite zur stillen Installation nennt für jeden Installer den genauen Befehl, auch msiexec für das MSI-Paket.
Läuft LLM Test Bench auf ARM (Windows on Arm)?
Eine ARM64-Version gibt es nicht; Windows 11 on Arm kann die Version für 64-Bit per Emulation ausführen.
Kann ich LLM Test Bench ohne Administratorrechte nutzen?
Ja, es gibt einen Installer für den einzelnen Benutzer, der keine Administratorrechte braucht.
Welche Alternativen zu LLM Test Bench gibt es?
Codex CLI, Claude Code, ChatGPT by lencx, GPT4All und Jan. Die Seite mit den Alternativen vergleicht sie.