A Windows desktop application for evaluating local GGUF models served by llama.cpp. It scans a models folder, starts or attaches to a llama-server on 127.0.0.1:8080, and runs configurable test-case suites covering logic, code, format compliance, instruction following, generation speed and long-context handling. Each answer is graded by an automatic check - substring, regex, JSON schema, code execution, LLM-as-judge or embedding similarity - with skipped checks kept out of the score instead of counted as failures. Runs are stored in a SQLite history with per-case drill-down and side-by-side comparison, and can be exported as an HTML report or printed. Also includes a local agent mode that uses the tested model as a subagent, and reports prefill and generation speed, time to first token, model memory usage and layer placement from the server log.
प्रकाशकाचे वर्णन (इंग्रजी)
LLM Test Bench काय आहे?
LLM Test Bench हे Windows साठीचे aleksandrreva-eng यांचे ओपन सोर्स ॲप्लिकेशन आहे, जे “AI असिस्टंट आणि LLM” या श्रेणीत येते.
इन्स्टॉलेशन आणि सिस्टम आवश्यकता
64-बिट साठी अधिकृत इन्स्टॉलर उपलब्ध आहेत (MSI). ते ॲडमिनिस्ट्रेटर अधिकारांशिवाय, फक्त सध्याच्या युजरसाठी इन्स्टॉल करता येते. इन्स्टॉलर कोणतेही प्रश्न न विचारता (सायलेंट) इन्स्टॉलेशनला सपोर्ट करतो. Group Policy, Intune किंवा Configuration Manager द्वारे डिप्लॉय करण्यासाठी MSI पॅकेजही उपलब्ध आहे.
जमेच्या बाजू / मर्यादा
जमेच्या बाजू
- ओपन सोर्स: कोणीही त्याचा कोड पाहू आणि बिल्ड करू शकतो
- मॅनेज्ड डिप्लॉयमेंटसाठी MSI पॅकेज
- दस्तऐवजीकृत सायलेंट इन्स्टॉल
- ॲडमिनिस्ट्रेटर अधिकारांशिवाय इन्स्टॉल होते
- गेल्या दोन महिन्यांत अपडेट झाले
मर्यादा
- नेटिव्ह ARM64 बिल्ड नाही
थोडक्यात: LLM Test Bench हे 64-बिट PC साठीचे ओपन सोर्स Windows टूल आहे (श्रेणी: AI असिस्टंट आणि LLM). ॲडमिनिस्ट्रेटर ते युजरच्या कोणत्याही इनपुटशिवाय (अनअटेंडेड) डिप्लॉय करू शकतात.
LLM Test Bench डाउनलोड करणे सुरक्षित आहे का?
- फाइल github.com वरून येते, जे प्रकाशकाचे स्वतःचे डोमेन आहे
- डाउनलोड लिंक HTTPS वापरते
- SHA256 हॅश प्रकाशित आहे, त्यामुळे आपण फाइल तपासू शकता:
F2727924C77D44CC79431CEDF1B03A5649E0293F2E8F73D94C108B611ADFF0BD· या हॅशचा VirusTotal अहवाल उघडा - लिंक अद्याप तपासलेली नाही
- सोर्स कोड सार्वजनिक आहे
- ExeAtlas इन्स्टॉलर होस्ट करत नाही, रॅप करत नाही आणि बदलत नाही
संबंधित मार्गदर्शक: Windows वर फाइलचा SHA256 हॅश कसा तपासायचा
अलीकडील आवृत्त्या
सर्व १ आवृत्ती ›| आवृत्ती | तारीख | आकार | फाइल्स |
|---|---|---|---|
| 1.0.0नवीनतम | २९ सप्टेंबर, २०२६ | — | 64-बिट MSI |
कमांड लाइनवरून इन्स्टॉल करा
सायलेंट इन्स्टॉल ›winget install --id aleksandrreva-eng.llm-test-bench -emsiexec /i LLMTestBench-1.0.0.msi /qn /norestartmsiexec /x {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E} /qn /norestartसंबंधित मार्गदर्शक: winget कसे वापरावे: ॲप्स इन्स्टॉल आणि अपडेट करा
माहिती
- प्रकाशक
- aleksandrreva-eng
- श्रेणी
- AI असिस्टंट आणि LLM
- लायसन्स
- MIT
- किंमत
- मोफत
- आवश्यक सिस्टम
- Windows 11 / 10
- आर्किटेक्चर
- 64-बिट
- इन्स्टॉलर
- MSI
- आवृत्ती
- 1.0.0
- रिलीज
- २९ सप्टेंबर, २०२६
- कॅटलॉगमध्ये जोडले
- २० नोव्हेंबर, २०२६
- नोंदवलेल्या आवृत्त्या
- 1
- ExeAtlas वरील डाउनलोड
- १
- वेबसाइट
- github.com
- winget ID
- aleksandrreva-eng.llm-test-bench
- MSI प्रॉडक्ट कोड
- {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E}
रेटिंग आणि रिव्ह्यू
अद्याप कोणताही रिव्ह्यू नाही. सर्वात आधी रेटिंग द्या.
LLM Test Bench चे पर्याय
सर्व पाहा ›-
ओपन सोर्स२०.२ ह ↓ -
प्रोप्रायटरी७३.६ ह ↓ -
ओपन सोर्स१७.१ ह ↓ -
ओपन सोर्स८.७ ह ↓ -
ओपन सोर्स३.५ ह ↓ -
ओपन सोर्स१.८ ह ↓ -
ओपन सोर्स१४.९ ह ↓ -
ओपन सोर्स९५० ↓
वारंवार विचारले जाणारे प्रश्न
LLM Test Bench मोफत आहे का?
हो. LLM Test Bench हे ओपन सोर्स सॉफ्टवेअर आहे (MIT लायसन्स).
LLM Test Bench डाउनलोड करणे सुरक्षित आहे का?
फाइल github.com वरून डाउनलोड होते, जो प्रकाशकाचा स्वतःचा आहे; ExeAtlas फाइल होस्ट करत नाही आणि बदलतही नाही. डाउनलोड केलेल्या फाइलचा SHA256 हॅश येथे दाखवलेल्या हॅशशी जुळवा, किंवा त्या हॅशचा VirusTotal अहवाल उघडा.
winget ने LLM Test Bench कसे इन्स्टॉल करायचे?
PowerShell किंवा Windows Terminal उघडा आणि या पेजवर दिलेली winget कमांड चालवा. winget अधिकृत इन्स्टॉलर डाउनलोड करतो आणि चालवण्यापूर्वी त्याचा SHA256 हॅश तपासतो.
LLM Test Bench सायलेंट इन्स्टॉल करता येते का?
हो. सायलेंट इन्स्टॉल पेजवर प्रत्येक इन्स्टॉलरची अचूक कमांड दिली आहे, MSI पॅकेजसाठी msiexec कमांडसुद्धा.
LLM Test Bench ARM (Windows on Arm) वर चालते का?
ARM64 बिल्ड नाही; Windows 11 on Arm वर 64-बिट आवृत्ती एम्युलेशनद्वारे चालू शकते.
LLM Test Bench ॲडमिनिस्ट्रेटर अधिकारांशिवाय वापरता येते का?
हो, त्याचा पर-युजर इन्स्टॉलर आहे, ज्याला ॲडमिनिस्ट्रेटर अधिकार लागत नाहीत.
LLM Test Bench चे पर्याय कोणते आहेत?
Codex CLI, Claude Code, ChatGPT by lencx, GPT4All आणि Jan. पर्यायांच्या पेजवर त्यांची तुलना दिली आहे.