【CUDA 16GB向け】llama.cpp CUDA: mvq→MMQデコード境界を runtime で制御、vLLM RMSNormカーネル1.2〜3.1倍高速化、Qwen3.6-MoEとGemma-4新GGUF
目次
- llama.cpp: CUDA mvq→MMQデコード境界を runtime で制御（PR#26079）
- llama.cpp: CUDA CEIL操作で非連続テンソルをサポート（PR#26072）
- llama.cpp: various bug fixes（PR#26051）
- vLLM: RMSNorm 非連続パスで1.2〜3.1倍カーネル高速化（Issue#49750）
- vLLM: MoE weight scalesをTP間で共有（Issue#49764）
- vLLM: Gemma4 B200 FP8最適化パス追加（Issue#49761）
- Hugging Face: 16GB向けGGUF多数追加
- 本日の推奨アクション（CUDA 16GB環境向け）
この記事はAIによって編集・作成されています。
llama.cppでバッチサイズ>1時のmvq→MMQデコード境界（Crossover Point）がruntime設定可能になり、RTX 3080/4080等の16GBカードでバッチ構成を柔軟に調整できる。vLLMではRMSNorm非連続パスが1.2〜3.1倍高速化、MoE weight scalesのTP共有も導入。Hugging FaceではQwen3.6-35B-A3B-APEX（MoE 3B active）やGemma-4 12B QAT、Sarashina2-7B-JPなど16GB環境向けのGGUFが相次いで公開されている。
llama.cpp: CUDA mvq→MMQデコード境界を runtime で制御（PR#26079）
llama.cppのCUDAバックエンドでは、バッチサイズが1より大きい場合のquantizedデコードにおけるmvq（Matrix Vector Quant）とMMQ（Matrix Multiply Quant）の切り替え境界（Crossover Point）が、runtimeで設定可能になった。従来は固定の閾値で両者のどちらが高速かが決まっていたが、ユーザー側で境界を調整できるようになった。
これにより、RTX 3080/4080等の16GBカードでは、バッチサイズやモデルの量子化種別に応じて最適なパスを選択できる。例えばバッチサイズを小さめに保ちつつmvq寄りの構成を取る、あるいはMMQをより早く発動させる、といったチューニングが可能になる。
情報源: github: PR#26079
設定例
# runtimeオプション（コマンドライン引数）
# 設定可能な閾値はbuild時の実装要確認
# 環境に応じて mvq/mmq の境界を調整
llama.cpp: CUDA CEIL操作で非連続テンソルをサポート（PR#26072）
llama.cppのCUDAバックエンドでCEIL（天井関数）操作が非連続テンソルを処理できるようになった。特にattentionパターンにおける境界ケースの修正であり、16GB GPUで複雑なattention構造を持つモデルを動かす際の安定性向上が期待される。
情報源: github: PR#26072
llama.cpp: various bug fixes（PR#26051）
llama.cppでCUDAビルドに影響する一般bug fixが行われた。具体的な内容はPR#26051に記載。
情報源: github: PR#26051
vLLM: RMSNorm 非連続パスで1.2〜3.1倍カーネル高速化（Issue#49750）
vLLMがRMSNormの非連続テンソルパス（uncontiguous path）をサポートし、カーネル性能が1.2〜3.1倍向上した。非連続テンソルはバッチ処理やメモリ断片化時に発生しやすく、特に16GB VRAMでバッチサイズを大きく取ろうとすると頻発する現象に対応する。
これにより、Qwen3.8-FlashやGemma-4などの大規模モデルを16GB GPUで動かす際、VRAMの断片化によるカーネルの低下を抑え、推論速度を安定させることができる。
情報源: github: Issue#49750
vLLM: MoE weight scalesをTP間で共有（Issue#49764）
vLLMでMoE（Mixture of Experts）モデルのオンラインweight scalesをTensor Parallelism (TP) 間で共有するRFCが提案された。MoEモデルでは各Expertのスケール係数をTP間で共有することでメモリ効率と推論速度の両方が改善される。RTX 4080等でTP並列を使う場合に特に有効な最適化。
情報源: github: Issue#49764
vLLM: Gemma4 B200 FP8最適化パス追加（Issue#49761）
vLLMがGemma4 B200のFP8最適化推論パスを追加した。NVIDIA GPU向けにFP8量子化を効率よく実行するパスであり、16GB GPUでFP8モデルを推論する際の速度向上が期待される。
情報源: github: Issue#49761
Hugging Face: 16GB向けGGUF多数追加
Qwen3.6-35B-A3B-APEX GGUF — MoE 35B / 3B active（Myric）
Qwen3.6のMoEアーキテクチャ、35B総パラメータうち3B activeなAPEX量子化GGUF。16GB GPUでMoEモデルを推論する際に最適。activeパラメータのみが計算されるためVRAM消費を抑えつつ35Bクラスの性能を実現できる。
情報源: huggingface: Myric/Qwen3.6-35B-A3B-APEX-GGUF
Qwen3.5-35B-A3B-APEX GGUF — MoE 35B / 3B active（Myric）
上記のQwen3.6版の前身となるQwen3.5ベースのMoEモデル。同様に35B総/3B activeで16GB環境向けのMoE選択肢。
情報源: huggingface: Myric/Qwen3.5-35B-A3B-APEX-GGUF
Gemma-4 12B I-T QAT GGUF（Mer0vin8ian）
Gemma-4の12Bクラスモデル。I-T QAT（Quantization Aware Training）量子化により、精度を維持しながら低ビット化を図ったGGUF。12BはQ4_K_Mで16GB GPUに収まりやすく、推論速度も期待できる。
情報源: huggingface: Mer0vin8ian/gemma-4-12B-it-qat-GGUF
Qwen3.5-4B MXFP8 GGUF（michaelw9999）
Qwen3.5の4Bクラス。MXFP8量子化を採用した低リソース環境向けモデル。16GB GPUならQ8_0やFP16でも余裕で動かせるが、MXFP8版はVRAM効率をさらに追求する場合に有効。
情報源: huggingface: michaelw9999/Qwen3.5-4B-MXFP8-GGUF
Sarashina2-7B-IT GGUF（RyoSpiralArchitect）
日本語インストラクションチューニングモデル「Sarashina2」の7B版。Q4_K_M量子化で16GB GPUに最適なサイズ。日本語ユーザーにとって日本語モデルの選択肢は引き続き重要。
情報源: huggingface: RyoSpiralArchitect/sarashina2-7b-it-GGUF
その他のGGUF追加
Gemma-4 31B Novelist+Eclipseマージ（bartowski）— 小説作成向けGemma-4マージ。31Bクラス。: huggingface
GRUG 35B v2（ProCreations）— リーニングモデル。トークン効率重視・エージェント系用途。: huggingface
KAT-Coder V2.5 Dev（bartowski）— MoEコードエージェントモデル。: huggingface
G9v3 3B（ai9stars via bartowski）— 長文コンテキスト対応の3Bモデル。: huggingface
本日の推奨アクション（CUDA 16GB環境向け）
1. llama.cpp mvq/MMQ境界の調整: バッチサイズ>1でのデコード速度が気になる場合、runtimeで境界を試し、最も早い値を探す。RTX 3080/4080でQ4_K_M+バッチ8〜16の場合、従来のデフォルトから±1〜2の範囲で調整する価値がある。
2. vLLM RMSNorm高速化の適用: vLLM環境でRMSNorm非連続パスが1.2〜3.1倍高速化されている。Qwen3.8やGemma-4を動かす場合、最新のvLLMビルドに更新し、速度向上を確認する。
3. Qwen3.6-MoEの検討: 16GB GPUで35Bクラスの性能を求めるならQwen3.6-35B-A3B-APEX（3B active）が最適解。MoEはactiveパラメータのみが計算されるため、VRAM消費を3B分だけで35Bの性能を得られる。
4. Gemma-4 12B QATの試練: 精度維持量子化（QAT）済みのGemma-4 12BはQ4_K_Mで16GBに収まりやすく、推論速度も良好。従来の非QAT版との精度差をベンチマークで確認する価値がある。
SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。
製品ごとの特徴・紹介動画は SwitchBot 製品ガイド にまとめています。
その他おすすめリンク
【2026年8月】クーポン・ポイント情報 GMKtec MINISFORUM GEEKOM ACEMAGIC 公式サイト攻略法
当ページの商品リンクは基本アフィリエイト（SwitchBot、Amazon、楽天、アリエクスプレス他）となっております。ご協力いただければ幸いです。