【CUDA 16GB向け】Gemma-4 12B QAT量子化・Qwen3.6 35B-A3B Apex量子化登場、llama.cpp CUDA MVQデコード境界をランタイムで調整可能に

目次

1. llama.cpp — CUDA MVQ→MMQデコード crossover をランタイムで調整可能に
2. vLLM — RMSNorm非連続パスで1.2〜3.1倍のカーネル高速化
3. vLLM — Gemma4 B200 FP8最適化パス追加
4. vLLM — MoE weight scalesのTP共有（RFC）
5. Gemima-4 12B QAT量子化GGUF登場 — 16GB環境に有力候補
6. Qwen3.6 35B-A3B Apex量子化（MoE）— 35B総パラメータ/3B active
7. その他のGGUFモデル追加
8. llama.cppのその他のCUDA関連更新
9. まとめ

この記事はAIによって編集・作成されています。

本日はllama.cppのCUDA量子化デコード経路（MVQ→MMQ crossover）がランタイム設定可能なPR#26079がmergesされた。バッチサイズ>1におけるmvqとmmqの境界をチューニングできるよう、実用上の速度調整の余地が広がった。またvLLMではRMSNorm非連続パスで1.2〜3.1倍のカーネル高速化が報告されている。HuggingFaceではGemma-4 12BのQAT量子化GGUFとQwen3.6 35B-A3B Apex量子化（MoE、3B active）が登場し、両者とも16GB環境での推論候補として注目される。

llama.cpp — CUDA MVQ→MMQデコード crossover をランタイムで調整可能に

PR#26079により、CUDAバックエンドで量子化されたデコードのcrossoverポイント（MVQとMMQの境界）がGGML_CUDA_MMVQ_MMQ_MAX環境変数でランタイム時に調整可能になった。バッチサイズが2以上のケースで、mvq経路からmmq経路に切り替える境界をユーザが決定できる。従来はハードコードされた閾値だったが、モデルやバッチサイズに応じて最適な経路を選べることで、VRAM使用量と推論速度のトレードオフを柔軟に制御できる。

具体的な使用方法としては、例えばバッチサイズ4でMVQ経路を優先したい場合:

export GGML_CUDA_MMVQ_MMQ_MAX=4
./main -m model.gguf -b 4

逆にMMQ経路を重視する場合は値を下げて調整できる。この変更により、同じモデル・同じGPUでも設定次第で推論特性が変わる。バッチ処理を重視するか、メモリ効率を優先するか、用途に応じて決断できる点は大きい。

情報源: https://github.com/ggml-org/llama.cpp/pull/26079

vLLM — RMSNorm非連続パスで1.2〜3.1倍のカーネル高速化

vLLM Issue#49750において、RMSNormのuncontiguous（非連続）パスがサポートされ、1.2〜3.1倍のカーネルパフォーマンス向上が報告された。非連続テンソルを扱う場合、従来はコピーが必要だった処理が直接処理可能になり、メモリアクセスのオーバーヘッドが削減された。16GB環境でバッチ処理を行う際、このパスが有効に働く可能性がある。

vLLMをRMSNormを含むモデルで使う場合、特に長いコンテキスト（32K〜128Kトークン）をバッチ処理する際に恩恵が大きくなる。バージョン間のベンチマーク差として、最大3.1倍の改善はバッチあたりのレイテンシに直接影響する可能性がある。

情報源: https://github.com/vllm-project/vllm/issues/49750

vLLM — Gemma4 B200 FP8最適化パス追加

vLLM Issue#49761で、Gemma-4のB200アーキテクチャ向けFP8推論パスが追加された。NVIDIA GPU向けの最適化で、FP8量子化によるメモリの削減と推論速度の両立を狙ったもの。16GB GPUでFP8モデルを動かす場合、このパスが有効になる可能性がある。ただしB200はデータセンター向けチップであり、RTX 3080/4080等のコンシューマGPUとはアーキテクチャが異なるため、実際の性能差は要検証。

情報源: https://github.com/vllm-project/vllm/issues/49761

vLLM — MoE weight scalesのTP共有（RFC）

vLLM Issue#49764で、Tensor Parallelism（TP）間でMoEのweight scalesを共有するRFCが出されている。MoEモデルにおいて各Expertのスケール値をTP間で共有することで、メモリ使用量を削減できる。16GB環境でMoEモデルをTP動作させる場合、この共有がVRAMの節約につながる可能性がある。現在RFC段階のため実装はまだ。

情報源: https://github.com/vllm-project/vllm/issues/49764

Gemima-4 12B QAT量子化GGUF登場 — 16GB環境に有力候補

HuggingFaceにbartowskiによるGemma-4 12B I-T QAT量子化GGUF（Mer0vin8ian/gemma-4-12B-it-qat-GGUF）が追加された。QAT（Quantization-Aware Training）量子化を採用しており、通常のPTQ（Post-Training Quantization）よりも量子化後の精度劣化を小さく抑えることができる。12BクラスのモデルはQ4_K_M量子化で約6〜7GB、Q8_0で約12〜13GB程度になり、16GB GPUでも余裕を持って推論できるサイズ感。

Gemma-4シリーズは比較的新しいアーキテクチャのため、日本語を含むマルチリンガル対応が期待できる。QAT量子化により、通常の量子化モデルよりも細かな指示追随能力が保たれる可能性があり、16GB環境での汎用アシスタントとして有力な候補となる。

情報源: https://huggingface.co/Mer0vin8ian/gemma-4-12B-it-qat-GGUF

Qwen3.6 35B-A3B Apex量子化（MoE）— 35B総パラメータ/3B active

MyricによりQwen3.6 35B-A3B-APEX GGUF（Myric/Qwen3.6-35B-A3B-APEX-GGUF）が公開された。MoE（Mixture of Experts）アーキテクチャで、35Bの総パラメータ数を持つが、推論時にactiveになるのは3Bのみ。このため、35Bクラスのモデル規模に対して3Bモデル並みのメモリ効率で推論できる。16GB GPUでもMoEの総パラメータをロードする必要はあるが、APEX量子化によりQ4_K_Mで約10〜12GB程度の推論メモリで収まる見込み。

同様にQwen3.5 35B-A3B-APEX GGUF（Myric/Qwen3.5-35B-A3B-APEX-GGUF）もあり、Qwen3.5系列のMoEバリエーション。どちらが16GB GPUで最適なアクィゼーションかは、ベンチマーク結果次第だが、MoEによるactiveパラメータの小ささは16GB環境で35Bクラスのモデルを実用的な速度で動かす有力な手段となる。

情報源: https://huggingface.co/Myric/Qwen3.6-35B-A3B-APEX-GGUF
https://huggingface.co/Myric/Qwen3.5-35B-A3B-APEX-GGUF

その他のGGUFモデル追加

Ateron_Gemma-4-Novelist-Eclipse-31B-GGUF（bartowski）

Gemma-4の31BモデルをNovelistとEclipseのmergeで融合したもの。bartowskiによるGGUF量子化版。31BモデルはQ4_K_Mで約7〜8GB、Q8_0で約15〜16GBとなり、16GB GPUでもギリギリのメモリ使用量。Q8_0なら16GBに収まる可能性があるが、コンテキスト長を長く取るとVRAMが逼迫する。31Bクラスのモデルを16GBで動かす場合はQ4_K_M推奨。

情報源: https://huggingface.co/bartowski/Ateron_Gemma-4-Novelist-Eclipse-31B-GGUF

grug-35b-v2-GGUF（ProCreations）

GRUG 35B reasoning model。token効率良く、agentic（自律行動型）用途に焦点を当てたモデル。35Bクラスなので16GBではQ4_K_Mでのみ推論可能。推理能力に特化しているため、コード生成や問題解決系のタスクに有効な可能性がある。

情報源: https://huggingface.co/bartowski/ProCreations_grug-35b-v2-GGUF

KAT-Coder V2.5 Dev（bartowski）

MoEのコードエージェントモデル。KwaipilotによるKAT-Coder V2.5 DevのGGUF版。コード生成に特化しており、MoEアーキテクチャのためactiveパラメータが抑えられ、16GB GPUでの推論が現実的。バッチサイズを小さめに設定すれば、実用的な推論速度が得られる可能性がある。

情報源: https://huggingface.co/bartowski/Kwaipilot_KAT-Coder-V2.5-Dev-GGUF

G9v3 3B（ai9stars）

3Bクラスの小さなモデル。コンテキスト長が長いことが特徴で、16GB GPUならQ8_0でも数GB程度しか使わない。短いモデルだが長文のコンテキストを扱う場合に、メモリ効率の面で優位性を持つ。3Bは性能が不足する場合もあるが、タスクが単純な場合や、高速推論が求められる場合に適している。

情報源: https://huggingface.co/bartowski/ai9stars_G9v3-3B-GGUF

Qwen3.5 4B MXFP8量子化（michaelw9999）

Qwen3.5 4BのMXFP8量子化GGUF。4Bクラスの非常に小さなモデルで、低リソース環境向けのもの。16GB GPUでは過剰なスペックではあるが、非常に高速な推論が期待できる。MXFP8量子化は混合精度量子化で、性能と量子化効率のバランスを取っている。

情報源: https://huggingface.co/michaelw9999/Qwen3.5-4B-MXFP8-GGUF

sarashina2-7b-it-GGUF（RyoSpiralArchitect）

Sarashina2 7B IT、日本語特化のモデル。Q4_K_M量子化で約3〜4GB。16GB GPUなら余裕で動くサイズ。日本語の指示追随に特化しており、日本語での会話やタスク実行に向いている。バッチサイズを大きく取ってもVRAM的に余裕があるため、 throughput を稼ぐ使い方ができる。

情報源: https://huggingface.co/RyoSpiralArchitect/sarashina2-7b-it-GGUF

llama.cppのその他のCUDA関連更新

PR#26072でCEIL演算に非連続テンソルサポートが追加され、attentionパターンの境界ケースが修正された。PR#26051ではCUDAビルド全般のバグフィックスが行われた。これらはパフォーマンス改善というより、安定性の向上に寄与するもの。

情報源: https://github.com/ggml-org/llama.cpp/pull/26072
https://github.com/ggml-org/llama.cpp/pull/26051

まとめ

本日の16GB CUDA環境での推奨アクションは以下の通り。
1) MVQ→MMQ crossoverの調整を試す: GGML_CUDA_MMVQ_MMQ_MAX環境変数でバッチごとの経路を制御。
2) 新モデルのチェック: Gemma-4 12B QAT、Qwen3.6 35B-A3B Apex量子化（MoE）は16GB環境で有力候補。
3) vLLM RMSNormパス: vLLM利用時は1.2〜3.1倍改善の可能性、既存モデルでもベンチマーク推奨。

その他おすすめリンク

【2026年8月】クーポン・ポイント情報　GMKtec MINISFORUM GEEKOM ACEMAGIC　公式サイト攻略法

How to Get the Lowest Price on the SwitchBot Official Store (US, UK & EU): The Complete Checkout Strategy — August 2026

当ページの商品リンクは基本アフィリエイト（SwitchBot、Amazon、楽天、アリエクスプレス他）となっております。ご協力いただければ幸いです。