Népszerű: Adatok frissítve: 2026. november 19.

Kategóriák

Internet1416
Kommunikáció328
Hang és videó938
Grafika és tervezés563
Iroda és produktivitás1179
Fejlesztői eszközök3284
MI-eszközök608
Biztonság és adatvédelem408
Rendszereszközök3187
Játékok543
Oktatás és tudomány242
Hálózat és informatika293

llama.cpp b12456 letöltés

LLM inference in C/C++

Ez egy régebbi verzió. A legújabb verzió: b9994. llama.cpp b9994 · Megjelenés:

Telepítőfájlok b12456

ArchitektúraTípusHatókörFájlméretLetöltésSHA256
64 bites ZIP → Hordozható — — github.com VirusTotal
ARM64 ZIP → Hordozható — — github.com VirusTotal

A hivatkozás és az SHA256 a Windows Package Manager közösségi manifestjéből származik. Futtatás előtt érdemes összevetni a letöltött fájl ellenőrzőösszegével.

Kiadási megjegyzések

opencl: fix three defects of the bin flash-attention prefill path (#32110)
- opencl: release the WMM flash-attention mask fallback image
The fallback image is created on every call of the bin flash-attention
kernel over a sub-buffer of the K cache and was never released, so each
call kept a K-cache sub-buffer alive. Every call with more than one query
row takes this path, including each speculative-decoding verify step, so
the objects pile up and the server slows with every request.
- opencl: keep q8_0 K/V at head size 512 off the WMM flash-attention kernel
With q8_0 K/V at DK=512 the bin flash-attention kernel gives wrong results
whenever V holds different values from K (test-backend-ops FLASH_ATTN_EXT
hsk=512 q8_0, max error 2.04 on X2-90); f16 K/V at DK=512 is correct. The
backend's own flash-attention kernels already decline q8_0 at DK=512, so the
shape is now handled the same way with or without the kernel library.
- opencl: decline WMM flash-attention prefill beyond the device's 3D image limits
The WMM path repacks Q/K/V into 3D images; V is n_kv wide, so past the device's
maximum 3D image width (about 16k tokens of context on X2-90) clCreateImage
failed and the call asserted. Such shapes now take the regular flash-attention
path.
Website:
- https://llama.app
Attestations:
- https://github.com/ggml-org/llama.cpp/attestations/68465218
macOS/iOS:
- macOS Apple Silicon (arm64)
- macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED
- macOS Intel (x64)
- iOS XCFramework
Linux:
- Ubuntu x64 (CPU)
- Ubuntu arm64 (CPU)
- Ubuntu 24.04 s390x (CPU)
- Ubuntu 26.04 s390x (CPU)
- Ubuntu 26.04 s390x (zDNN)
- Ubuntu x64 (Vulkan)
- Ubuntu arm64 (Vulkan)
- Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries
- Ubuntu x64 (CUDA 13) - CUDA 13.5 libraries
- Ubuntu arm64 (CUDA 13) - CUDA 13.5 libraries
- Ubuntu x64 (ROCm 10.0)
- Ubuntu x64 (OpenVINO)
- Ubuntu x64 (SYCL FP32)
- Ubuntu x64 (SYCL FP16)
- Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Android:
- Android arm64 (CPU)
- Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Windows:
- Windows x64 (CPU)
- Windows arm64 (CPU)
- Windows arm64 (OpenCL Adreno)
- Windows x64 (CUDA 12) - CUDA 12.4 DLLs
- Windows x64 (CUDA 13) - CUDA 13.5 DLLs
- Windows arm64 (CUDA 13) - CUDA 13.5 DLLs
- Windows x64 (Vulkan)
- Windows arm64 (Vulkan)
- Windows x64 (OpenVINO)
- Windows x64 (SYCL)
- Windows x64 (ROCm 10.0)
openEuler:
- DISABLED
- openEuler x86 (310p)
- openEuler x86 (910b, ACL Graph)
- openEuler aarch64 (310p)
- openEuler aarch64 (910b, ACL Graph)
UI:
- UI

https://github.com/ggml-org/llama.cpp/releases/tag/b12456

Címkék

Megosztás