A Windows desktop application for evaluating local GGUF models served by llama.cpp. It scans a models folder, starts or attaches to a llama-server on 127.0.0.1:8080, and runs configurable test-case suites covering logic, code, format compliance, instruction following, generation speed and long-context handling. Each answer is graded by an automatic check - substring, regex, JSON schema, code execution, LLM-as-judge or embedding similarity - with skipped checks kept out of the score instead of counted as failures. Runs are stored in a SQLite history with per-case drill-down and side-by-side comparison, and can be exported as an HTML report or printed. Also includes a local agent mode that uses the tested model as a subagent, and reports prefill and generation speed, time to first token, model memory usage and layer placement from the server log.
پبلشر کی وضاحت (انگریزی)
LLM Test Bench کیا ہے؟
LLM Test Bench، جسے aleksandrreva-eng جاری کرتا ہے، Windows کے لیے ایک اوپن سورس پروگرام ہے اور AI اسسٹنٹس اور LLM کے زمرے میں آتا ہے۔
انسٹالیشن اور سسٹم کی ضروریات
64 بٹ کے لیے سرکاری انسٹالر موجود ہیں (MSI)۔ اسے ایڈمنسٹریٹر کی اجازت کے بغیر صرف موجودہ صارف کے لیے انسٹال کیا جا سکتا ہے۔ انسٹالر بغیر کسی سوال کے، یعنی خاموش انسٹالیشن کی سہولت دیتا ہے۔ Group Policy، Intune یا Configuration Manager کے ذریعے تقسیم کے لیے MSI پیکیج دستیاب ہے۔
خوبیاں / خامیاں
خوبیاں
- اوپن سورس: کوئی بھی کوڈ دیکھ اور بِلڈ کر سکتا ہے
- منظم ڈیپلائمنٹ کے لیے MSI پیکیج
- دستاویزی خاموش انسٹالیشن
- ایڈمنسٹریٹر کی اجازت کے بغیر انسٹال ہوتا ہے
- پچھلے دو مہینوں میں اپ ڈیٹ ہوا
خامیاں
- نیٹو ARM64 ورژن موجود نہیں
خلاصہ: LLM Test Bench AI اسسٹنٹس اور LLM کے زمرے کا ایک اوپن سورس ٹول ہے جو 64 بٹ کمپیوٹرز کے لیے دستیاب ہے۔ ایڈمنسٹریٹر اسے بغیر کسی مداخلت کے انسٹال کروا سکتے ہیں۔
کیا LLM Test Bench ڈاؤن لوڈ کرنا محفوظ ہے؟
- فائل github.com سے آتی ہے، جو پبلشر کا اپنا ڈومین ہے
- ڈاؤن لوڈ لنک HTTPS استعمال کرتا ہے
- SHA256 ہیش شائع شدہ ہے، اس لیے آپ فائل کی تصدیق کر سکتے ہیں:
F2727924C77D44CC79431CEDF1B03A5649E0293F2E8F73D94C108B611ADFF0BD· اس ہیش کی VirusTotal رپورٹ کھولیں - لنک ابھی چیک نہیں ہوا
- سورس کوڈ عوامی طور پر دستیاب ہے
- ExeAtlas انسٹالرز کو نہ ہوسٹ کرتا ہے، نہ ریپ کرتا ہے اور نہ ان میں تبدیلی کرتا ہے
متعلقہ گائیڈ: Windows میں فائل کا SHA256 ہیش کیسے چیک کریں
حالیہ ورژن
تمام 1 ورژن ›کمانڈ لائن سے انسٹالیشن
خاموش انسٹالیشن ›winget install --id aleksandrreva-eng.llm-test-bench -emsiexec /i LLMTestBench-1.0.0.msi /qn /norestartmsiexec /x {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E} /qn /norestartمتعلقہ گائیڈ: winget کا استعمال: پروگرام انسٹال اور اپ ڈیٹ کریں
معلومات
- پبلشر
- aleksandrreva-eng
- زمرہ
- AI اسسٹنٹس اور LLM
- لائسنس
- MIT
- قیمت
- مفت
- ضرورت
- Windows 11 / 10
- آرکیٹیکچر
- 64 بٹ
- انسٹالر
- MSI
- ورژن
- 1.0.0
- تاریخِ اجرا
- 29 ستمبر، 2026
- فہرست میں شامل
- 20 نومبر، 2026
- درج ورژن
- 1
- ExeAtlas پر ڈاؤن لوڈز
- 1
- ویب سائٹ
- github.com
- winget ID
- aleksandrreva-eng.llm-test-bench
- MSI پروڈکٹ کوڈ
- {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E}
ریٹنگز اور تبصرے
ابھی کوئی تبصرہ نہیں۔ سب سے پہلے آپ ریٹ کریں۔
LLM Test Bench کے متبادل
سب دیکھیں ›-
اوپن سورس20.2 ہزار ↓ -
ملکیتی73.6 ہزار ↓ -
اوپن سورس17.1 ہزار ↓ -
اوپن سورس8.7 ہزار ↓ -
اوپن سورس3.5 ہزار ↓ -
اوپن سورس1.8 ہزار ↓ -
اوپن سورس14.9 ہزار ↓ -
اوپن سورس950 ↓
اکثر پوچھے جانے والے سوالات
کیا LLM Test Bench مفت ہے؟
جی ہاں۔ LLM Test Bench اوپن سورس سافٹ ویئر ہے (MIT لائسنس)۔
کیا LLM Test Bench ڈاؤن لوڈ کرنا محفوظ ہے؟
فائل github.com سے آتی ہے، جو پبلشر کا اپنا ڈومین ہے؛ ExeAtlas نہ فائل ہوسٹ کرتا ہے نہ اس میں کوئی تبدیلی کرتا ہے۔ اس کا SHA256 ہیش یہاں دکھائے گئے ہیش سے ملائیں، یا اس ہیش کی VirusTotal رپورٹ کھولیں۔
winget سے LLM Test Bench کیسے انسٹال کریں؟
PowerShell یا Windows Terminal کھولیں اور اس صفحے پر دی گئی winget کمانڈ چلائیں۔ winget سرکاری انسٹالر ڈاؤن لوڈ کرتا ہے اور چلانے سے پہلے اس کا SHA256 ہیش جانچتا ہے۔
کیا LLM Test Bench کی خاموش انسٹالیشن ممکن ہے؟
جی ہاں۔ خاموش انسٹالیشن کے صفحے پر ہر انسٹالر کی درست کمانڈ دی گئی ہے، جس میں MSI پیکیج کے لیے msiexec بھی شامل ہے۔
کیا LLM Test Bench ARM (Windows on Arm) پر چلتا ہے؟
ARM64 ورژن موجود نہیں؛ Windows 11 on Arm ایمولیشن کے ذریعے 64 بٹ ورژن چلا سکتا ہے۔
کیا LLM Test Bench ایڈمنسٹریٹر کی اجازت کے بغیر استعمال ہو سکتا ہے؟
جی ہاں، ایک فی صارف انسٹالر موجود ہے جسے ایڈمنسٹریٹر کی اجازت کی ضرورت نہیں۔
LLM Test Bench کے متبادل کون سے ہیں؟
Codex CLI، Claude Code، ChatGPT by lencx، GPT4All اور Jan۔ متبادل کے صفحے پر ان کا موازنہ کیا گیا ہے۔