A Windows desktop application for evaluating local GGUF models served by llama.cpp. It scans a models folder, starts or attaches to a llama-server on 127.0.0.1:8080, and runs configurable test-case suites covering logic, code, format compliance, instruction following, generation speed and long-context handling. Each answer is graded by an automatic check - substring, regex, JSON schema, code execution, LLM-as-judge or embedding similarity - with skipped checks kept out of the score instead of counted as failures. Runs are stored in a SQLite history with per-case drill-down and side-by-side comparison, and can be exported as an HTML report or printed. Also includes a local agent mode that uses the tested model as a subagent, and reports prefill and generation speed, time to first token, model memory usage and layer placement from the server log.
გამომცემლის აღწერა (ინგლისური)
რა არის LLM Test Bench?
LLM Test Bench არის ღია კოდის პროგრამა Windows-ისთვის (ai ასისტენტები და llm); გამომცემელი: aleksandrreva-eng.
ინსტალაცია და მოთხოვნები
ოფიციალური საინსტალაციო ფაილები არსებობს Windows-ისთვის: 64-ბიტიანი, ფორმატით MSI. შესაძლებელია მხოლოდ მიმდინარე მომხმარებლისთვის ინსტალაცია, ადმინისტრატორის უფლებების გარეშე. ინსტალერს შეუძლია კითხვების გარეშე (ჩუმი) ინსტალაცია. Group Policy-ით, Intune-ით ან Configuration Manager-ით გასავრცელებლად არსებობს MSI პაკეტი.
დადებითი მხარეები / უარყოფითი მხარეები
დადებითი მხარეები
- ღია კოდი: ნებისმიერს შეუძლია კოდის შემოწმება და აწყობა
- MSI პაკეტი ცენტრალიზებული გავრცელებისთვის
- დოკუმენტირებული ჩუმი ინსტალაცია
- ინსტალირდება ადმინისტრატორის უფლებების გარეშე
- განახლდა ბოლო ორ თვეში
უარყოფითი მხარეები
- მშობლიური ARM64 ვერსია არ არის
მოკლედ: LLM Test Bench — ღია კოდის ხელსაწყო (ai ასისტენტები და llm) კომპიუტერებისთვის: 64-ბიტიანი. ადმინისტრატორებს შეუძლიათ მისი კითხვების გარეშე გავრცელება.
LLM Test Bench: უსაფრთხოა თუ არა ჩამოტვირთვა?
- ფაილი მოდის გამომცემლის საკუთარი დომენიდან (github.com)
- ჩამოტვირთვის ბმული HTTPS-ს იყენებს
- SHA256 ჰეში გამოქვეყნებულია, ფაილის შემოწმება შეგიძლიათ:
F2727924C77D44CC79431CEDF1B03A5649E0293F2E8F73D94C108B611ADFF0BD· გახსენით VirusTotal-ის ანგარიში ამ ჰეშისთვის - ბმული ჯერ არ შემოწმებულა
- წყაროს კოდი ღიაა
- ExeAtlas საინსტალაციო ფაილებს არ ინახავს, არ ფუთავს და არ ცვლის
დაკავშირებული ინსტრუქცია: როგორ შევამოწმოთ ფაილის SHA256 ჰეში Windows-ზე
ბოლო ვერსიები
ყველა ვერსია (1) ›| ვერსია | თარიღი | ზომა | ფაილები |
|---|---|---|---|
| 1.0.0უახლესი | 29 სექტემბერი, 2026 | — | 64-ბიტიანი MSI |
ინსტალაცია ბრძანებათა ხაზიდან
ჩუმი ინსტალაცია ›winget install --id aleksandrreva-eng.llm-test-bench -emsiexec /i LLMTestBench-1.0.0.msi /qn /norestartmsiexec /x {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E} /qn /norestartდაკავშირებული ინსტრუქცია: როგორ გამოვიყენოთ winget: ინსტალაცია და განახლება
ინფორმაცია
- გამომცემელი
- aleksandrreva-eng
- კატეგორია
- AI ასისტენტები და LLM
- ლიცენზია
- MIT
- ფასი
- უფასო
- მოთხოვნები
- Windows 11 / 10
- არქიტექტურა
- 64-ბიტიანი
- ინსტალერის ტიპი
- MSI
- ვერსია
- 1.0.0
- გამოშვების თარიღი
- 29 სექტემბერი, 2026
- დაემატა კატალოგს
- 20 ნოემბერი, 2026
- აღრიცხული ვერსიები
- 1
- ჩამოტვირთვები ExeAtlas-ზე
- 1
- ოფიციალური საიტი
- github.com
- winget ID
- aleksandrreva-eng.llm-test-bench
- MSI პროდუქტის კოდი
- {C6400931-BC80-4D9D-9CC4-8EF5DD6D331E}
შეფასებები და მიმოხილვები
მიმოხილვები ჯერ არ არის. შეაფასეთ პირველმა.
LLM Test Bench: ალტერნატივები
ყველას ნახვა ›-
ღია კოდი20,2 ათ. ↓ -
დახურული კოდი73,6 ათ. ↓ -
ღია კოდი17,1 ათ. ↓ -
ღია კოდი8,7 ათ. ↓ -
ღია კოდი3,5 ათ. ↓ -
ღია კოდი1,8 ათ. ↓ -
ღია კოდი14,9 ათ. ↓ -
ღია კოდი950 ↓
ხშირად დასმული კითხვები
LLM Test Bench უფასოა?
დიახ. LLM Test Bench ღია კოდის პროგრამაა (ლიცენზია MIT).
LLM Test Bench: უსაფრთხოა თუ არა ჩამოტვირთვა?
ფაილი მოდის მისამართიდან github.com, რომელიც გამომცემელს ეკუთვნის; ExeAtlas ფაილს არ ინახავს და არ ცვლის. შეადარეთ ჩამოტვირთული ფაილის SHA256 ჰეში აქ ნაჩვენებს ან გახსენით VirusTotal-ის ანგარიში ამ ჰეშისთვის.
როგორ დავაინსტალიროთ LLM Test Bench winget-ით?
გახსენით PowerShell ან Windows Terminal და გაუშვით ამ გვერდზე ნაჩვენები winget ბრძანება. winget ჩამოტვირთავს ოფიციალურ საინსტალაციო ფაილს და გაშვებამდე ამოწმებს მის SHA256 ჰეშს.
შეიძლება თუ არა LLM Test Bench ჩუმად დავაინსტალიროთ?
დიახ. ჩუმი ინსტალაციის გვერდზე თითოეული ინსტალერისთვის ზუსტი ბრძანებაა მოცემული, მათ შორის msiexec MSI პაკეტისთვის.
მუშაობს თუ არა LLM Test Bench ARM-ზე (Windows on Arm)?
ARM64 ვერსია არ არის; Windows 11 on Arm-ს შეუძლია ემულაციით გაუშვას ვერსია: 64-ბიტიანი.
შეიძლება თუ არა LLM Test Bench ადმინისტრატორის უფლებების გარეშე გამოვიყენოთ?
დიახ, არსებობს მომხმარებლის დონის ინსტალერი, რომელსაც ადმინისტრატორის უფლებები არ სჭირდება.
რა ალტერნატივები არსებობს პროგრამისთვის LLM Test Bench?
Codex CLI, Claude Code, ChatGPT by lencx, GPT4All და Jan. ალტერნატივების გვერდზე ისინი შედარებულია.