山村商店

【780M向け】AMD Ryzen 780M (RADV PHOENIX) 向け Vulkan 最適化: IQ3_XXS 高速化、VMM 節約、RPC クラッシュ修正

ローカルLLMAMDVulkaniGPULLM最適化

目次
  1. 今回の要点
  2. AMD iGPU (780M) 向け Vulkan 最適化: IQ3_XXS カーネル高速化と RADV 安定性修正
  3. Vulkan環境でのマルチGPU (RPC) テンソル分割クラッシュ修正
  4. VMMプール修正がAMD iGPU (UMA) のVRAM確保に寄与
  5. MoE推論のCPUフォールバック実装とd2tマッピングのGPU残留最適化
  6. Vulkanバックエンド: Mali-G710 (Android) の継続的なクラッシュ問題
  7. 出典

今回の要点

  • IQ3_XXS カーネルの高速化: llama.cpp PR #30904 により、780M での小行列計算速度が向上。
  • Mesa RADV ドライバの修正: cooperative matrix の stride 修正や VRS 無効化により、gfx1103 (780M) の安定性とシェーダーコンパイル時間が改善。
  • VRAM 節約 (VMM): 予約メモリを 32GB から 8GB に削減する修正 (PR #30542) が、UMA 環境の 780M ユーザーにも恩恵をもたらす。
  • マルチ GPU クラッシュ修正: RPC + Vulkan 環境でのテンソル分割クラッシュ (Issue #30954) が修正された。
  • MoE 推論の最適化: CPU フォールバック実装 (PR #30966) と d2t マッピングの GPU 残留化 (PR #30912) により、VRAM 不足環境での推論効率が向上。

AMD iGPU (780M) 向け Vulkan 最適化: IQ3_XXS カーネル高速化と RADV 安定性修正

前提

llama.cpp は ggml-org が開発する C/C++ の LLM 推論エンジン。Vulkan バックエンドで AMD iGPU でも動く。

何が変わったか

llama.cpp の PR #30904 により、Vulkan 用の iq3_xxs (IQ3_XXS) quantization 用の mul_mat_vec カーネルが最適化された。これにより、780M での小行列計算速度が向上する。また、Mesa RADV ドライバ側でも複数の修正が入った。gfx1103 (RADV PHOENIX) において、cooperative matrix の 32bit 未満の stride 修正 (commit 687304e2) により、cooperative matrix 演算が正しく動作するようになった。これは llama.cpp の Vulkan バックエンドでの MoE/routing 計算に寄与する。さらに、VRS (Variable Rate Shading) で 8x MSAA を無効化する修正 (commit 4e71777e) により、gfx1103 等の AMD RDNA3 GPU における Vulkan デバイスプロパティの正確性が向上した。シェーダーコンパイル時間削減のため、VGT と PS の最終入力を事前に計算する最適化 (commit c90ff433) も入っており、Vulkan シェーダーの実行パフォーマンスが向上する。UMA 環境では、Vulkan queue submit thread や zink shader cache 等の pinned affinity を解除する修正 (commit afe1e0d5) により、CPU コアのピン留めによるパフォーマンス劣化が解消され、CPU-Vulkan 協調動作が改善された。

なぜ重要か

780M での推論速度向上と Vulkan クラッシュ回避に直結する最適化であり、780M iGPU ユーザーに直接影響する。

根拠のリンク

利用者の報告

aryan-nikzad により、4x XFX RX580 8GB (3 used while running this) の環境で、Vulkan マルチ GPU MoE 推論時に初回リクエストで 30 tok/s、2 回目 10 tok/s、3 回目 3 tok/s と速度が低下する報告がある。また、iGPU を無効化しても一部のモデルが iGPU にロードされる現象が確認されている。一方、moxhamj2 により、2 * AMD Radeon RX 570 8 GB VRAM (Polaris10) の環境で、RPC + Vulkan テンソル分割時に segmentation fault が発生する報告がある。両者とも再現可能な問題として報告されている。

Vulkan環境でのマルチGPU (RPC) テンソル分割クラッシュ修正

前提

llama.cpp は ggml-org が開発する C/C++ の LLM 推論エンジン。Vulkan バックエンドで AMD iGPU でも動く。

何が変わったか

llama.cpp Issue #30954 により、RPC + Vulkan テンソル分割で発生する crash が修正された。再現可能な lifetime bug であり、one-line fix 付きで報告されている。multi-GPU AMD ユーザーに影響する問題。

なぜ重要か

AMD iGPU/dGPUのマルチGPU構成で再現する致命的なクラッシュの修正。

根拠のリンク

利用者の報告

moxhamj2 により、2 * AMD Radeon RX 570 8 GB VRAM (Polaris10) の環境で、RPC + Vulkan テンソル分割時に segmentation fault が発生する報告がある。両者とも再現可能な問題として報告されている。

VMMプール修正がAMD iGPU (UMA) のVRAM確保に寄与

前提

llama.cpp は ggml-org が開発する C/C++ の LLM 推論エンジン。Vulkan バックエンドで AMD iGPU でも動く。

何が変わったか

llama.cpp PR #30542 により、VMM pool の修正が入った。これにより、予約メモリが 32GB から 8GB に削減された。この修正は AMD iGPU/UMA システムにも恩恵をもたらす。Gemma4:26b で仮想アドレススペースの制限に達していた問題が解消され、780M with shared VRAM も significant relief を得る。

なぜ重要か

CUDA 専用話題だが、UMA環境のAMD iGPUユーザーにもVRAM節約として直接利益がある。

根拠のリンク

利用者の報告

aryan-nikzad により、4x XFX RX580 8GB (3 used while running this) の環境で、Vulkan マルチ GPU MoE 推論時に初回リクエストで 30 tok/s、2 回目 10 tok/s、3 回目 3 tok/s と速度が低下する報告がある。また、iGPU を無効化しても一部のモデルが iGPU にロードされる現象が確認されている。

MoE推論のCPUフォールバック実装とd2tマッピングのGPU残留最適化

前提

llama.cpp は ggml-org が開発する C/C++ の LLM 推論エンジン。Vulkan バックエンドで AMD iGPU でも動く。

何が変わったか

llama.cpp PR #30966 により、MoE 推論で expert を CPU が補完する llama_moe_cache が実装された。vLLM と同様の MoE キャッシュ・CPU フォールバックの llama.cpp 実装。また、PR #30912 により、d2t mapping が GPU に残留するよう修正された。Eagle3/shorter vocab draft で VRAM 転送コストが削減された。Vulkan バックエンド (780M) でも GPU-resident mapping が有効で、MUL_MAT_ID/MoE ルーティングの性能向上に寄与する。UMA (780M) では GPU->CPU 転送の回避が特に重要。

なぜ重要か

VRAM不足のAMD iGPU環境におけるMoE推論の安定性と速度向上。

根拠のリンク

利用者の報告

aryan-nikzad により、4x XFX RX580 8GB (3 used while running this) の環境で、Vulkan マルチ GPU MoE 推論時に初回リクエストで 30 tok/s、2 回目 10 tok/s、3 回目 3 tok/s と速度が低下する報告がある。また、iGPU を無効化しても一部のモデルが iGPU にロードされる現象が確認されている。am17an により、d2t mapping が GPU に残留するよう修正された報告がある。

Vulkanバックエンド: Mali-G710 (Android) の継続的なクラッシュ問題

前提

llama.cpp は ggml-org が開発する C/C++ の LLM 推論エンジン。Vulkan バックエンドで AMD iGPU でも動く。

何が変わったか

llama.cpp Issue #30920 により、Mali-G710 (Android 16, VK 1.1) が #28593 null-pointer fix 適用後も QueueSubmit で crash 継続していることが報告された。

なぜ重要か

Android搭載AMD iGPUユーザーに影響するVulkanドライバー互換性の不具合。

根拠のリンク

利用者の報告

vovaxa55 により、OPPO Find X5 Pro (PFFM20), Android 16 (BP2A.250605.015), MediaTek MT6983 (Dimensity 9000) / Mali-G710 MC10 の環境で、QueueSubmit で SIGSEGV が発生する報告がある。また、aryan-nikzad により、4x XFX RX580 8GB (3 used while running this) の環境で、Vulkan マルチ GPU MoE 推論時に初回リクエストで 30 tok/s、2 回目 10 tok/s、3 回目 3 tok/s と速度が低下する報告がある。また、iGPU を無効化しても一部のモデルが iGPU にロードされる現象が確認されている。

出典

【宣伝】SwitchBot 購入はこちらから

SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。