【CUDA 16GB向け】vLLM RMSNorm 1.2〜3.1倍高速化、Qwen3.6 APEX MoE・Gemma-4 QAT 16GB対応モデル続々追加 — llama.cpp MVQデクロステーブル等

公開 2026年8月6日

vLLM: RMSNorm 非連続サポートで1.2〜3.1倍カーネル高速化
vLLM: MoE Weight ScalesのTP間共有（RFC）
vLLM: Gemma-4 B200 FP8最適化パス追加
llama.cpp: CUDA MVQデコード閥値をランタイムで可変設定
llama.cpp: CUDA CEIL演算で非連続テンソル対応
llama.cpp: UIストリーミングレンダリングコスト削減
GGUF: Gemma-4 12B IT QAT（16GB環境向け）
GGUF: Qwen3.6 35B-A3B-APEX（MoE 35B/アクティブ3B）
GGUF: Qwen3.5 35B-A3B-APEX（MoE）
GGUF: Qwen3.5 4B MXFP8量子化
GGUF: G9v3 3B（ロングコンテキスト）
GGUF: Sarashina2 7B IT（日本語）
GGUF: KAT-Coder V2.5 Dev（MoEコードエージェント）
GGUF: GRUG 35B v2（推論特化）
GGUF: Ateron_Gemma-4 31B Merge（Novelist+Eclipse）
llama.cpp: 一般バグ修正バッチ
まとめ

この記事はAIによって編集・作成されています。

vLLMでRMSNormの非連続パス実装により1.2〜3.1倍のカーネル高速化、CUDA向けllama.cppでGGML_CUDA_MMVQ_MAXによるMVQデコード閥値のランタイム可変設定が可能に。HuggingFaceではGemma-4 12B QAT Qwen3.6 APEX（MoE 35B/アクティブ3B）など16GB環境向け量子化モデルが複数追加されている。

vLLM: RMSNorm 非連続サポートで1.2〜3.1倍カーネル高速化

vLLMでRMSNormの非連続（uncontiguous）パスがサポートされ、カーネルパフォーマンスが最大3.1倍の改善を実現した。1.2倍から3.1倍の範囲で状況に応じたパフォーマンス向上が見込まれる。Issue #49750

vLLM: MoE Weight ScalesのTP間共有（RFC）

Tensor Parallelism (TP) 間でオンラインMoEの重みスケールを共有するRFCが提案された。TP分散推論におけるメモリアクセス最適化の可能性を探るもの。Issue #49764

vLLM: Gemma-4 B200 FP8最適化パス追加

vLLMにGemma-4のB200 FP8最適化推論パスが追加された。NVIDIA GPU向けFP8推論の選択肢が広がる。Issue #49761

llama.cpp: CUDA MVQデコード閥値をランタイムで可変設定

llama.cppのCUDAバックエンドで、GGML_CUDA_MMVQ_MAXによりMVQからMMQへのデコード遷移点（crossover point）をランタイムで設定可能になった。バッチサイズ>1におけるMVQ-MMQ境界の調整が可能になる。PR #26079

llama.cpp: CUDA CEIL演算で非連続テンソル対応

CUDAバックエンドのCEIL演算に非連続テンソルのサポートが追加された。attentionパターンのエッジケース対応が進む。PR #26072

llama.cpp: UIストリーミングレンダリングコスト削減

UIストリーミング時のper-tokenレンダリングコストが削減された。ストリーミング表示のパフォーマンス改善。PR #26053

GGUF: Gemma-4 12B IT QAT（16GB環境向け）

Gemma-4 12B I-T QAT量子化GGUFモデルが公開された。12BクラスのQAT量子化モデルは16GB GPU環境でも動作が期待できる。HuggingFace

GGUF: Qwen3.6 35B-A3B-APEX（MoE 35B/アクティブ3B）

Qwen3.6の35B A3B Apex量子化GGUF。MoE構造で35B総パラメータ、推論時にアクティブなパラメータは3Bのみ。16GB GPU環境でも高性能が発見できる可能性がある。HuggingFace

GGUF: Qwen3.5 35B-A3B-APEX（MoE）

Qwen3.5の35B A3B Apex量子化GGUF。Qwen3.6 APEXの兄弟バージョン。同様にMoE 35B/アクティブ3B構造。HuggingFace

GGUF: Qwen3.5 4B MXFP8量子化

Qwen3.5 4BにMXFP8量子化GGUFが公開。低リソース環境向けの小規模モデル。HuggingFace

GGUF: G9v3 3B（ロングコンテキスト）

ai9stars作成のG9v3 3B GGUF（bartowski経由）。ロングコンテキスト対応能力を持つ3Bクラスモデル。HuggingFace

GGUF: Sarashina2 7B IT（日本語）

Sarashina2 7B ITのQ4_K_M量子化GGUF。日本語インストラクションチューニングモデル。16GB GPU環境で動作させるのに適したサイズ。HuggingFace

GGUF: KAT-Coder V2.5 Dev（MoEコードエージェント）

Kwaipilot作成のKAT-Coder V2.5 Dev GGUF（bartowski経由）。MoE構造のコードエージェントモデル。HuggingFace

GGUF: GRUG 35B v2（推論特化）

ProCreations作成のGRUG 35B v2 GGUF。トークン効率に優れた推論特化型モデルで、アジェンティック用途を想定。HuggingFace

GGUF: Ateron_Gemma-4 31B Merge（Novelist+Eclipse）

bartowskiによるGemma-4 31BマージGGUF。Novelist+Eclipseの合併モデル。31Bクラスのクリエイティブ執筆モデル。HuggingFace

llama.cpp: 一般バグ修正バッチ

llama.cppの一般的なバグ修正バッチが適用された。CUDAビルドに影響を与える修正を含む。PR #26051

まとめ

今日のCUDA 16GB環境で注目すべきは、vLLMのRMSNorm非連続パスによる最大3.1倍高速化実装と、llama.cppでのMVQデコード閥値ランタイム可変設定。推論速度の実質改善が見込める。モデル面ではQwen3.6 APEX（MoE 35B/アクティブ3B）とGemma-4 12B QATが16GB環境で試す価値が高い。llama.cppの新しいMVQ調整を試す場合はGGML_CUDA_MMVQ_MAX環境変数を設定してデコード遷移点を最適化できる。

【宣伝】SwitchBot 購入はこちらから

SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。
製品ごとの特徴・紹介動画は SwitchBot 製品ガイドにまとめています。

How to Get the Lowest Price on the SwitchBot Official Store (US, UK & EU): The Complete Checkout Strategy — August 2026

当ページの商品リンクは基本アフィリエイト（SwitchBot、Amazon、楽天、アリエクスプレス他）となっております。ご協力いただければ幸いです。