【CUDA 16GB向け】Gemma-4 12B QAT量子化・Qwen3.6 35B A3B Apex量子化登場、CUDA mvq→MMQ境界パラメータ追加
目次
- llama.cpp CUDA: mvq→MMQ デコード境界をランタイムで調整可能に
- llama.cpp: CUDA CEIL演算で非連続テンソル対応
- llama.cpp: CUDAビルド関連の汎用バグ修正
- llama.cpp UI: ストリーミング時のトークン毎レンダコスト削減
- vLLM: MoE重みスケールをTP間で共有（RFC）
- vLLM: Gemma4 B200 FP8 最適化パス追加
- vLLM: RMSNorm非連続パスで1.2〜3.1倍カーネル性能向上
- GGUF: Gemma-4 12B I-T QAT量子化版 — 16GB向け実装候補
- GGUF: Qwen3.6 35B A3B Apex量子化 — MoE 35B/3Bアクティブ
- GGUF: Qwen3.5 35B A3B Apex量子化 — 前世代MoE
- GGUF: 日本語7B ITモデル（Q4_K_M）— 16GB向け実装候補
- GGUF: Qwen3.5 4B MXFP8量子化版
- GGUF: Gemma-4 31B Novelist+Eclipseマージ版
- GGUF: GRUG 35B reasoningモデル — アジェンティック推論向け
- GGUF: KAT-Coder V2.5 Dev — MoEコードエージェント
- GGUF: G9v3 3B — 長期コンテキスト対応
- 本日の推奨アクション
この記事はAIによって編集・作成されています。
本日はllama.cppのCUDA量子化デコード境界パラメータ追加とvLLMのRMSNorm非連続パスによる1.2〜3.1倍カーネル性能改善が注目。モデル面ではGemma-4 12BのQAT量子化版とQwen3.6 35B A3B Apex量子化版がHugging Faceに登場し、16GB VRAM環境で実装可能な選択肢が拡がっている。
llama.cpp CUDA: mvq→MMQ デコード境界をランタイムで調整可能に
PR #26079 — CUDA: runtime GGML_CUDA_MMVQ_MAX to tune the mvq->MMQ decode crossover
バッチサイズ > 1 の条件で、量子化済みデコードの mvq（MMVQ）パスと MMQ パスの境界を runtime パラメータで調整できるようになった。従来ハードコードされていた閾値を環境に応じて最適化できる。16GB環境でバッチ推論を行う際、VRAM使用量と速度のバランスを細かく制御できる可能性を秘めている。
設定例
export GGML_CUDA_MMVQ_MAX=<値>
# 起動後、デコードパスの遷移点を調整※本パラメータの適切な値域と性能影響はまだ要検証。
llama.cpp: CUDA CEIL演算で非連続テンソル対応
PR #26072 — CUDA: add support for non-contiguous tensors in CEIL op
CUDAバックエンドで CEIL 演算時の非連続テンソルに対応。attentionパターンにおけるエッジケースの修正につながっている。モデル側で非連続なテンソル配置が発生するケースで安定動作が期待できる。
llama.cpp: CUDAビルド関連の汎用バグ修正
PR #26051 — llama: various bug fixes
CUDAビルドに影響する一般的なバグ修正バッチ。個別の詳細指定はないが、CUDAユーザーは最新版ビルドで安定性が向上する可能性。
llama.cpp UI: ストリーミング時のトークン毎レンダコスト削減
PR #26053 — UI: reduce per-token render cost when streaming
ストリーミング出力時の1トークン毎のレンダリングコストを削減。出力品質の変化はなく、応答の視覚的更新が軽くなった。
vLLM: MoE重みスケールをTP間で共有（RFC）
Issue #49764 — [Quantization] Share online MoE weight scales across TP
Tensor Parallelism (TP) の各デバイス間でMoE（Mixture of Experts）のオンライン重みスケールを共有するRFC。現在調査段階。16GB環境の単一GPUでは直接関係しないが、TP構成を予定しているユーザーは注目すべき。
vLLM: Gemma4 B200 FP8 最適化パス追加
Issue #49761 — Add Gemma4 B200 FP8 optimized path
Gemma4のB200アーキテクチャ向けFP8最適化推論パスをNVIDIA GPU向けに追加。FP8量子化によりVRAM使用量を抑えつつ高速推論が可能になる。16GBカードでの30Bクラスモデル推論に有効な道筋。
vLLM: RMSNorm非連続パスで1.2〜3.1倍カーネル性能向上
Issue #49750 — [Perf] RMSNorm uncontiguous support, 1.2~3.1x kernel perf improvement
RMSNormの非連続データパスサポートにより、カーネル性能が1.2倍から3.1倍に改善。非連続メモリ配置を許容するルートの追加により、テンソル再配置のコストが削減された。推論速度に直接影響する重要なパフォーマンス改善。
GGUF: Gemma-4 12B I-T QAT量子化版 — 16GB向け実装候補
bartowski — Gemma-4 12B I-T QAT GGUF
Gemma-4 12Bのインストラクションチューニング版。QAT（Quantization-Aware Training）量子化済みで、従来のPTQ量子化より量子化損失が少ない。12Bクラスであり16GB VRAM環境でQ4/Q5量子化時に収まりやすく、実用的なサイズ感。
GGUF: Qwen3.6 35B A3B Apex量子化 — MoE 35B/3Bアクティブ
Myric — Qwen3.6 35B A3B Apex GGUF
総パラメータ35Bだがアクティブパラメータは3BのMoEモデル。APEX量子化が施されている。16GB環境ではMoEのスパース性により、 dense 35Bモデルより遥かに少ないVRAMで動作する可能性。アクティブ3Bの推論速度が期待できる。
GGUF: Qwen3.5 35B A3B Apex量子化 — 前世代MoE
Myric — Qwen3.5 35B A3B Apex GGUF
Qwen3.6の前身となるQwen3.5ベースの同種MoEモデル。総35B/アクティブ3B構成。35B-A3B-APEX-GGUFは16GBカードのMoE実験に適した候補。
GGUF: 日本語7B ITモデル（Q4_K_M）— 16GB向け実装候補
RyoSpiralArchitect — sarashina2 7B IT GGUF
Sarashina2 7Bの日本語インストラクションチューニング版。Q4_K_M量子化済み。7Bクラスの日本語モデルであれば16GB VRAMで余裕を持って収まり、チャットや日本語応答タスクに活用できる。
GGUF: Qwen3.5 4B MXFP8量子化版
michaelw9999 — Qwen3.5 4B MXFP8 GGUF
Qwen3.5 4BのMXFP8量子化版。極めて小規模な4Bモデルで、低リソース環境向けの選択肢。16GB環境では非常に余裕のあるサイズ。
GGUF: Gemma-4 31B Novelist+Eclipseマージ版
bartowski — Ateron Gemma-4 31B GGUF
Gemma-4 31BのNovelistとEclipseのマージGGUF。31Bクラスは16GB環境ではQ8またはQ5/Q6量子化時のVRAM使用量が限界に近づくため、環境次第。Q8量子化で約16GBに近づく可能性がある。
GGUF: GRUG 35B reasoningモデル — アジェンティック推論向け
ProCreations — GRUG 35B v2 GGUF
推論（reasoning）特化の35Bモデル。トークン効率が高く、エージェント的な推論タスク向け。35BクラスでありMoEでないdenseモデルのため、16GBではQ5/Q6量子化時の収まりを要確認。
GGUF: KAT-Coder V2.5 Dev — MoEコードエージェント
bartowski — KAT-Coder V2.5 Dev GGUF
プログラミングに特化したMoEコードエージェントモデル。総パラメータ数は指定不明だがMoE構成。コード生成・デバッグタスクに特化した実装。
GGUF: G9v3 3B — 長期コンテキスト対応
3Bクラスのモデルで長期コンテキスト（long context）対応を謳っている。非常に小さなモデルだが、文書読み込み・コンテキスト保持タスクに特化している可能性。16GB環境では極めて余裕のあるサイズ。
本日の推奨アクション
vLLMユーザーはRMSNorm非連続パス（1.2〜3.1倍改善）が適用された最新ビルドへアップデート
16GBカードでGemma-4 12B QAT量子化版を試す（従来のPTQより量子化損失低減が見込まれる）
MoE実験ならQwen3.6 35B A3B Apex（アクティブ3B）が16GBで実用的な選択肢
llama.cppの GGML_CUDA_MMVQ_MAX パラメータ値を環境に合わせて試す（要検証）
SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。
製品ごとの特徴・紹介動画は SwitchBot 製品ガイド にまとめています。
その他おすすめリンク
【2026年8月】クーポン・ポイント情報 GMKtec MINISFORUM GEEKOM ACEMAGIC 公式サイト攻略法
当ページの商品リンクは基本アフィリエイト（SwitchBot、Amazon、楽天、アリエクスプレス他）となっております。ご協力いただければ幸いです。