AMD iGPUで35Bモデルを実用的に推論、llama.cpp MTPオーバーHEAD修正で149Kコンテキスト
目次
この記事はAIによって編集・作成されています。
AMDのRadeon 780M iGPUを用いた超低予算構成（1,000ユーロ未満）でQwen3.6 35BクラスLLMを実用的な速度（21t/s）で推論する実測結果が話題になっている。カーネルパラメータによるVRAM割り当てとVulkan最適化により、高級GPUなしでも35B〜31Bクラスのモデルが動作する。一方、llama.cpp v909のMTPバッファオーバーヘッド修正により、AMD ROCm環境でQwen 27Bのコンテキスト長が64Kから149Kへ増加。GPU層配置の手動設定とROCm/Vulkanの使い分けについても伝えられている。量子化では、学習不要の回転量子化KLQがSpinQuantを上回る精度を伝えている。
🗣️ Reddit話題: AMD iGPUで1,000ユーロ未満の予算で35Bモデルを推論
Underestimated budget solution: radeon 780m iGPU | Reddit コミュニティ
成熟度: 🚪 実装直前 — AMD Radeon 780M iGPU（Ryzen 2600/8945HX等）上でllama.cpp Vulkanバックエンドを用い、64GB DDR5 RAMの48GBを「VRAM」としてカーネルパラメータ割り当てする構成。現在、限られたユーザーが実測済みで、一般公開は近い段階。
話題の背景と経緯
ローカルLLM推論において、GPUメモリは常に最大のボトルネックだった。8/9のReddit投稿でQwen3.6 35B-A3BがRTX 3090環境で実測されたり、DS4 Flashの価格変動が確認されたりと、高級ハードウェア前提の議論が主流をなす中で、この投稿は「Radeon 780M iGPU」という統合GPUを用いた超低予算構成を示した。Ryzen 7 260やRyzen 9 8945HXに搭載された780M iGPUは、高級GPUを購入する必要もなく、Ubuntu 26上でカーネルパラメータ amdgpu.gttsize=49152 等により64GB RAMの48GBをVRAMとして割り当てられる。ベアボーンPC約300〜400ユーロ、中古RAM約500ユーロ、SSD 50〜100ユーロで合計1,000ユーロ未満の構成となる。この投稿は「見積もられなかった低予算解決策」と題し、高級GPUを前提とするローカルLLMコミュニティの常識に対して、実用的な代替案を提示した点で大きな反響を呼んだ。
特に注目されるのは、8/9にQwen 35B-A3B MoEのRTX 3090実測（~4倍高速、品質ギャップ小）が確認されたのに対し、iGPU構成ではQwen3.6 35B-A3Bで待機時287.33t/s、生成時21.06t/sという数値が確認された点だ。高級GPUに依存せず、35Bクラスのモデルが「実用的な速度」で動作する可能性を示したことで、コミュニティ内で大きな議論を呼んだ。
コミュニティで何が議論されているか
この投稿への議論は大きく3軸に分かれた。第一に「賛成・支持する声」では、実際に同構成を組んだユーザーが類似の数値を確認した。ベアボーンPC構成で1,000ユーロ未満というコストパフォーマンスは、特に欧州のユーザー層（物価・為替関係で同等の構成がより高騰する）で強い反響を呼んだ。あるユーザーは「64GB DDR5の割り当て次第で、780Mでも35Bクラスの推論が十分実用的になる」と自身の構成を共有している。
第二に「懐疑・批判的な声」では、生成速度21t/sが「会話には使えるが、長いコンテキスト処理では厳しい」との意見がある。特にMTP（Multi-Token Prediction）の有無が速度に大きく影響する点について、「MTP利用時はGemma 4 31Bで2.46t/s→16.27t/sに跳ね上がるが、Qwen 35B-A3BではMTP未実行の情報もある」との補足が寄せられた。MTPのメモリ使用量がiGPU環境ではボトルネックになる可能性が指摘された。
第三に「補足・新しい視点」では、CPUモデル（Ryzen 9 8945HX）の高コア数とDDR5メモリの帯域幅が、iGPU推論の速度を後押しする要素であるとの分析がある。また、「Vulkanバックエンドの最適化が鍵で、ROCm（AMD GPU本体）よりもVulkan（iGPU）の方がvRAM節約になるが、prefill性能はROCmの方が高い」との使い分け論が提示された。
技術的な核心
この構成の技術的核心は、llama.cppのVulkanバックエンドとカーネルパラメータ割り当ての組み合わせにある。amdgpu.gttsize=49152 は、AMD GPUのGTT（Graphics Translation Table）に48GBのVRAM領域を割り当てるLinuxカーネルパラメータ。64GB DDR5 RAMを共有メモリとするiGPU環境で、この割り当てによりモデルの量子化重みが高速にアクセス可能になる。Unsloth Q8量化（Q8_0）モデルは、iGPUのVRAM割り当て領域に載せることで、GPUメモリ不足による外部ストレージへのスワ핑を回避できる。
MTP（Multi-Token Prediction）の利用が速度に与える影響も重要だ。Gemma 4 31Bの場合、MTP無使用時は2.46t/sだが、MTP利用時は16.27t/sへ跳ね上がった。これはMTPが次のトークンの予測を並列処理し、生成速度を大幅に加速する効果があることを示す。ただし、MTPは追加のVRAMを消費するため、iGPU環境ではメモリ不足で未実行のケースも伝えられている。このトレードオフ（速度向上 vs メモリ消費）が、ユーザーによって異なる結論を生んでいる。
コンセンサスが得られている点は、「VulkanバックエンドがiGPU推論の事実上の標準」という点。また、ROCmバックエンド（専用GPU用）とVulkanバックエンド（iGPU用）の使い分けは、用途によって最適解が異なる—a longer contextならROCm、vRAM節約ならVulkan、という使い分けが提案されている。まだ議論中の点は、「Qwen3.6 35B-A3BのMTP未実行の情報」の理由で、メモリ不足かMTP設定の問題かは、投稿のコメント欄でも議論が続いている。
実際に使える・試せる情報
この構成で実際に試す場合の具体的な手順とパラメータを以下にまとめる。
必要なハードウェア: AMD Radeon 780M iGPU搭載CPU（Ryzen 7 260 / Ryzen 9 8945HX等）、64GB DDR5 RAM（中古で500ユーロ前後）、SSD 50〜100ユーロ、ベアボーンPC 300〜400ユーロ。合計1,000ユーロ未満。
OSとカーネルパラメータ: Ubuntu 26上で、GRUB起動パラメータに amdgpu.gttsize=49152 を追加。これにより48GBを「VRAM」としてiGPUに割り当てる。必要に応じて amdgpu.vram_commit_limit も調整可能。
推論設定: llama.cppのVulkanバックエンドを使用。モデルはUnsloth Q8_0量子化。MTPを有効にする場合、追加のVRAM確保が必要で、35Bクラスではメモリ不足の可能性あり。Gemma 4 31BでMTP有効時は16.27t/sの速度向上を確認。
実測速度: Qwen3.6 35B-A3B（Q8_0）— 待機時287.33t/s、生成時21.06t/s。Gemma 4 31B（Q8_0）— 待機時51.59t/s、生成時2.46t/s（MTP無）、16.27t/s（MTP有）。実用的な会話速度としては、Qwen 35Bの21t/sで十分に実用的。Gemma 4の2.46t/sは遅いものの、MTP有効で16t/sになれば実用的レベル。
🗣️ Reddit話題: llama.cpp v909でMTPバッファオーバーヘッド修正、149Kコンテキスト達成
AMD llama.cpp: reducing MTP buffer overhead gave me 64K → 149K context for Qwen 27B | Reddit コミュニティ
成熟度: ✅ 利用開始 — llama.cppコミット 7bd8282 (バージョン909) のMTPバッファオーバーヘッド修正パッチが適用済み。ROCm環境のユーザーが既に実装し、コンテキスト長を倍増させている。
話題の背景と経緯
ローカルLLM推論におけるコンテキスト長は、長いセッションやドキュメント処理において常に重要な課題だった。llama.cppのMTP（Multi-Token Prediction）機能は、次のトークンを複数並列予測することで生成速度を向上させるが、その際、計算用に過大なメモリを確保する仕様があった。この過大評価により、ユーザーが実際に利用可能なコンテキスト長が不要に縮小されていた。8/8にIntel Battlemage GPUでのllama.cpp PR（169%高速化）が伝わられ、8/9にQwen 35B-A3Bの実測（RTX 3090環境）が行われた。これらとは異なり、今回のトピックはAMD ROCm環境固有の問題で、コンテキスト長を大幅に確保する修正がパッチとしてコミットされた。コミットハッシュ 7bd8282、バージョン909で適用可能。
コミュニティで何が議論されているか
議論は主に「改善効果の実測値」と「ROCm特有の最適化」に集中した。まず実測値について、QWEN 27B IQ4_XS（16GB GPU単体）でコンテキスト長が19,456から76,032へ増加。Q6_K_L（16GB+12GB GPU 2枚）で64,256から149,248へ増加したとの確認が複数寄せられた。あるユーザーは「149Kコンテキストで1時間以上のロングセッションが可能になった」と述べている。これは実用上の大きな進歩だ。
ROCmバックエンドとVulkanバックエンドの使い分けについては、ROCmがprefill性能と長いコンテキスト長に適し、VulkanがvRAM節約に適するとのコンセンサスが得られた。あるユーザーは「ROCmでprefill速度が改善し、Vulkanでメモリ使用量が減る。用途に応じて選択すべき」と指摘。また、GPUの層配置（layer offloading）についても議論があり、RTX 4090（CUDA0）を優先すると高速だが、Tesla P40（CUDA1）を優先すると速度が低下する等の確認がDS4 Flash実測の文脈で寄せられた。今回のMTP修正はROCm固有のものだが、Vulkanユーザーにも同様の最適化が将来反映される可能性が議論されている。
技術的な核心
MTP（Multi-Token Prediction）は、llama.cppの推論速度向上機能で、次のトークンを複数並列予測する。従来の実装では、MTP用のメモリバッファが過大評価され、ユーザー利用可能なコンテキスト長が不必要に縮小されていた。コミット 7bd8282で、この過大なメモリ見積もりが修正され、MTP計算用のメモリ使用量が適正化された。その結果、Qwen 27B IQ4_XSでは19K→76K、Q6_K_Lでは64K→149Kへコンテキスト長が増加した。
この修正はROCm環境固有のものだが、MTPのメモリ使用量はGPUに依存せず、モデルサイズと量子化タイプで決まる。つまり、CUDAユーザー（NVIDIA GPU）にも同様のオーバーヘッドが存在する可能性が高く、将来のllama.cppアップデートで同等の修正が反映される見通しだ。また、Vulkanバックエンド（AMD iGPU用）ではvRAM節約の効果が特に顕著で、コンテキスト長が伸びる分、長いドキュメント処理が実用的になる。
コンセンサスが得られている点は、「MTPバッファの過大評価はllama.cppの普遍的な問題で、ROCm固有ではない」という点。まだ議論中の点は、「MTPを有効にした場合の速度向上とコンテキスト長のトレードオフ」で、MTPを有効にすると生成速度は向上するが、追加のVRAM消費がコンテキスト長に与える影響については、GPU構成によって異なる。
実際に使える・試せる情報
llama.cppのアップデート: コミット 7bd8282 以降（バージョン909以降）を使用。git clone https://github.com/ggergeov/llama.cpp && git checkout 7bd8282 で特定コミットを取得。
ROCm環境のユーザー: MTPを有効にすることで、コンテキスト長がほぼ倍増。Qwen 27B IQ4_XSで19K→76K、Q6_K_Lで64K→149Kの確認済み。149Kコンテキストでのロングセッション（1時間以上）が可能になる。
Vulkanユーザー（AMD iGPU）: vRAM節約効果が顕著。MTP有効時は追加VRAM消費でコンテキスト長が縮小される可能性あり。vRAM節約優先ならMTP無効、長いコンテキスト優先ならROCmへ移行を検討。
NVIDIA CUDAユーザー: MTPのメモリオーバーヘッドはROCm固有ではない。同等の修正が将来反映される可能性あり。llama.cppの更新動向を確認し続ける。
🗣️ Reddit話題: KLQ — 学習不要回転量子化がSpinQuantを凌駕
KLQ: Training-free measured rotation quantization. Beats all training-free rotation-based quantization methods on W4A4KV4-bits. | Reddit コミュニティ
成熟度: 🔧 実装研究中 — 学習不要の回転量子化フレームワークKLQ。理論的枠組みが提示され、W4A4KV4-bitで学習型回転（SpinQuant等）に対する精度向上を伝えている。実装カーネルの欠如など実用段階には至っていないが、理論的裏付けのある量子化手法として注目を集めている。
話題の背景と経緯
LLMの量子化において、回転量子化（rotation-based quantization）は、モデルの埋め込み空間の幾何学構造に合わせた量子化手法で、精度回復の効果が大きい。しかし、従来の手法には2つの問題があった。一つは一般回転（ハダマード等）では、特定モデルの幾何学に完全に対応できず残留誤差が生じる点。もう一つは学習型回転（SpinQuant等）は精度向上するが、勾配降下による計算コストが重い点だった。この投稿は「空間の不均一性」を直接測定し、最適化されたビット配分を実現するKLQ（Training-free measured rotation quantization）を提案。投稿者自身の実験結果で、Llama 3.2 1BでSpinQuantを上回り、ReSpinQuantに近づいたと主張。量子化の計算コストと精度のトレードオフを改善する可能性を示した点で、コミュニティで注目された。
コミュニティで何が議論されているか
議論は「理論的枠組みの有効性」と「実用化への障壁」の2軸で分かれた。まず、理論的側面では、固有基底の方向を重要度順にランク付けし、各方向を独立した情報伝送チャネルと見なし、水敷き付けアルゴリズムで最も重要な方向に最大のビット幅を割り当てるというアプローチは、計算コストを抑えつつモデル固有の幾何学構造に合わせた最適化を実現する革新的な方法として評価された。あるユーザーは「勾配不要でモデル固有の幾何学に最適化できるなら、訓練コストの半分以下で同等の精度が得られる可能性があると期待している」と述べている。
他方、実用化への懸念では「実装カーネルが欠如している」点が再三言われている。理論的枠組みは提示されているが、実際の推論で使用するカーネル実装が存在しないため、今すぐ試すことはできない。あるユーザーは「理論的に優れているが、llama.cppやvLLMへの実装が先。カーネル実装なしではベンチマーク値の検証も不可能」と批判的に述べている。
補足意見では、「W4A4KV4-bitの量子化は、既に実装済み手法（GPTQ・LLM.int8等）との比較が必要」との見方がある。KLQのW4A4KV4-bit精度が既存手法に対してどの程度優れているかは、同等の量子化タイプでのベンチマークが初めて公開されたため、今後の検証が待たれる。
技術的な核心
KLQの核心は「空間の不均一性の直接測定」にある。LLMの埋め込み空間はモデルによって不均一であり、特定の方向に情報が偏在している。従来の一般回転（ハダマード等）はこの偏りを無視して均一回転を適用するため、特定モデルの幾何学構造に完全に対応できず、残留誤差を生む。一方、学習型回転（SpinQuant等）は勾配降下で最適回転を見つけるが、計算コストが重い。
KLQはこの中間的なアプローチを取る。空間の不均一性を直接測定し、固有基底の方向を重要度順にランク付けする。各方向を独立した情報伝送チャネルと見なし、水敷き付けアルゴリズムで最も重要な方向に最大のビット幅を、そうでない方向に最小のビット幅を割り当てる。因果的KL損傷測定を用い、理論的に最適なビット配分を実現する。これにより、勾配不要でモデル固有の幾何学構造に合わせた最適化が可能になる。
コンセンサスが得られている点は、「学習不要の量子化は計算コストが小さいため、複数のモデルを試す際に有用」という点。また、「W4A4KV4-bit量子化は、既に実装済み手法との比較が不可欠」という点も議論されている。まだ議論中の点は、「KLQの理論的枠組みが、実装カーネルなしでどの程度実用的か」で、カーネル実装が先行する必要がある。
実際に使える・試せる情報
現在の実用性: KLQは理論的枠組みが提示された段階で、実装カーネルが欠如している。今すぐ試すことはできない。llama.cppやvLLMへの実装が先行する必要がある。
理論的裏付け: W4A4KV4-bitでSpinQuantを上回り、ReSpinQuantに近づいたと主張。Llama 3.2 1Bでの実測値が確認されている。勾配不要のため、訓練コストは従来手法の半分以下になると期待。
今後の注目点: KLQの実装カーネルが公開されるかどうか。llama.cppでの実装が先行する可能性が高い。W4A4KV4-bit量子化のベンチマークが、GPTQ・LLM.int8等の既存手法との比較で公開されるのを待つ。理論的枠組みは優れているが、実用化には実装が必要。
まとめ
Reddit r/LocalLLaMAでは、AMD iGPUによる超低予算ローカルLLM推論（1,000ユーロ未満で35Bクラス実用的速度）と、llama.cpp v909のMTPバッファ修正（64K→149Kコンテキスト）が両立して話題になっている。前者は高級GPU不要の実践的な構成案、後者はROCm/Vulkanの使い分けによる実用上のコンテキスト長拡大と、どちらも直接ユーザーの判断に役立つ実測・実装情報だ。KLQ量子化は理論的に革新的だが、実用化には実装カーネルが先行する必要がある。コミュニティの議論は「実測値の検証」「実装の現実性」「コストパフォーマンス」の3軸で活発化している。これらの実測情報は、ローカルLLM推論のハードウェア・ソフトウェアの両面での最適化が、既に一般ユーザーにも届いていることを示している。
SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。
製品ごとの特徴・紹介動画は SwitchBot 製品ガイド にまとめています。
その他おすすめリンク
当ページの商品リンクは基本アフィリエイト（SwitchBot、Amazon、楽天、アリエクスプレス他）となっております。ご協力いただければ幸いです。