llama.cpp v0.5.0と新機能：16GB GPU環境の推論速度向上とメモリ効率改善

llama.cppはggml-orgが開発するC/C++のLLM推論エンジン。GGUF形式の量子化モデルをCPU/GPUで動かす。

今回の要点

• v0.5.0リリース：CUDA conv加速、FFN融合、MTP Graph対応により16GB環境の推論速度が改善
• MoEモデルのshared expert処理が最適化され、Qwen3.5-35B-A3B等で速度向上
• MTP draft推論にCUDA Graph対応：speculative decodingの高速化
• 非連続テンソルコピーのバグ修正：KVキャッシュ破損の防止
• Gemma4/Qwen35向けfused QKVサポートとTensor Parallel修正：メモリ効率と複数GPU環境でのVRAM割り当て精度が改善

v0.5.0リリース：CUDA conv加速とMTP Graph対応

llama.cppの最初のメジャーセマンティックバージョンv0.5.0が2026-09-23にリリースされた。このバージョンではCUDA backendのconv acceleration、FFN gate GLU epilogue fusion、FlashAttention CUDA: FP8、MTF (Multi-Token Fusion) 対応などが含まれている。16GB環境ではconv5x5/FFN fusionにより速度改善が期待できる。

具体的には、CUDA conv2dをimplicit GEMM方式で実行することでVision Encoder/Projectorのパフォーマンスを向上。また、FFN (GQA) token-parallel fused kernelにより、14B以上モデルで14B-30Bクラスモデル推論のFFN段高速化が実現。RTX 4060/4070では推論速度10-20%改善が報告されている。

さらに、MTP (Multi-Token Prediction) 推論のCUDA Graph対応により、Draftモデルのカーネル実行が最適化。16GB環境でspeculative decodingを活用する場合、速度改善が期待できる。

根拠: llama.cpp v0.5.0正式リリース, CUDA graph for MTP draft, CUDA conv2d implicit GEMM, FFN token-parallel fused, FFN gate+GLU epilogue fusion

CUDA: shared expertsをMMVQパスに融合しMoE推論を高速化

Qwen3.5-35B-A3B等のMoEモデルでshared expertの処理が最適化され、推論速度が向上。RTX Pro 6000でのベンチマークでは、microbatch 1で2.26%、microbatch 5で5.06%の改善が確認されている。

利用者の報告

am17anはRTX Pro 6000環境でQwen3.5-35B-A3B-Q8_0のshared expertをMMVQパスに融合し、microbatch 1で268.96→275.05 t/s (+2.26%)、microbatch 5で797.68→838.04 t/s (+5.06%)の改善を報告。一方、microbatch 4では708.39→711.36 t/s (+0.42%)と改善幅が小さいという報告もある。

demon851113はRTX 5070 Ti 16 GB環境でllama.cpp fork + expert-cache setup (MTP drafting, IQ3_XXS) を使用。QSA block-sparse patch portにより、127K contextでdecode speedが49.7→77.1 t/s、recall test (8 depths) が8/8を維持。ただし、prompt processingは73K–122Kで~550–575 tok/sが弱みと報告。-ub 2048は16 GBに収まらないという制限もある。

MTP draft推論にCUDA Graph対応：speculative decodingの高速化

llama.cpp b11007でMTP (Multi-Token Prediction) draft推論にCUDA Graphが有効化。Previously MTP had suboptimal CUDA graph handling。この変更により、RTX 3080/4060 Ti 16GB/4080でspeculative decoding performanceが改善。16GB環境でのMTP workflowに重要。

利用者の報告

demon851113はRTX 5070 Ti 16 GB環境でllama.cpp fork with a VRAM expert cache (experts stream over PCIe into cache slots; the CPU computes none), MTP drafting, IQ3_XXSを使用。QSA block-sparse patch portにより、127K contextでdecode speedが49.7→77.1 t/s、recall test (8 depths) が8/8を維持。ただし、prompt processingは73K–122Kで~550–575 tok/sが弱みと報告。-ub 2048は16 GBに収まらないという制限もある。

CUDA: 非連続テンソルコピーのバグ修正でKVキャッシュ破損を防ぐ

llama.cpp #27663でKVキャッシュ書き込み等で発生していた非連続テンソルコピーの破損バグが修正。ggml_cuda_cpyのcan_be_transposed gateがsrc0のlayoutのみ検査していたため、非連続のsrc1 (strided view_2d slot) でsilent corruptionが発生。修正により、非連続のdstはcpy_scalar kernelにフォールバックし、nb10-nb13 stridesを尊重するようになった。通常のcontiguous dstは変更なし。

利用者の報告

devYRPauliはPRでバグの詳細と修正方法を説明。F32/F16/BF16/I32 copyでtransposed scalar kernelがdst stridesを無視していた結果、strided destinationがsilent corruptionしていた。修正はcpy.cuの2行で、regression testも追加。

demon851113はRTX 5070 Ti 16 GB環境でllama.cpp fork with a VRAM expert cache (experts stream over PCIe into cache slots; the CPU computes none), MTP drafting, IQ3_XXSを使用。QSA block-sparse patch portにより、127K contextでdecode speedが49.7→77.1 t/s、recall test (8 depths) が8/8を維持。ただし、prompt processingは73K–122Kで~550–575 tok/sが弱みと報告。-ub 2048は16 GBに収まらないという制限もある。

Gemma4/Qwen35向けfused QKVサポートとTensor Parallel修正

llama.cpp b11009でGemma4とQwen35 modelsのfused QKVサポートが追加。n_head * n_embd_head_kからattention QKVのsplit statesを計算し、CUDA backendでメモリ効率を改善。また、#29160でfused QKV構造のモデルにおけるtensor-parallelのcapacity下見積もりを修正。複数GPU間でモデルを分割する際のVRAM割り当て精度が向上。16GB VRAMシステムでこれらのアーキテクチャを実行する場合、重要。

利用者の報告

demon851113はRTX 5070 Ti 16 GB環境でllama.cpp fork with a VRAM expert cache (experts stream over PCIe into cache slots; the CPU computes none), MTP drafting, IQ3_XXSを使用。QSA block-sparse patch portにより、127K contextでdecode speedが49.7→77.1 t/s、recall test (8 depths) が8/8を維持。ただし、prompt processingは73K–122Kで~550–575 tok/sが弱みと報告。-ub 2048は16 GBに収まらないという制限もある。

出典

• llama.cpp v0.5.0正式リリース
• llama.cpp b11007: CUDA graph for MTP draft
• llama.cpp b11009: Fused QKV support for Gemma4/Qwen35 models
• CUDA graph for MTP draft
• CUDA conv2d implicit GEMM
• FFN token-parallel fused
• FFN gate+GLU epilogue fusion
• CUDA: fuse shared experts into MMVQ
• ggml-cuda: fix cpy transposed path corrupting non-contiguous dst
• tensor-parallel fix for fused QKV
• Strata issue #71: demon851113's data point