旧GPU追加の意外な効用：2070 Super追加でQwen3.6-27B実用推論、Gemma4安全性除去13変種のベンチマーク結果

この記事はAIによって編集・作成されています。

r/LocalLLaMAでは、旧GPU追加によるローカル推論体験の改善とGemma4安全性除去の包括的ベンチマークが話題になっている。一つ目はRTX 2070 Super（8GB追加）でQwen3.6-27B Q8_0を144kコンテキストで40〜70tk/s実行した実測報告。もう一つは13クリエイターによるGemma 4 E2B Abliteration変種の44 GPU時間に及ぶベンチマーク。両方とも利用開始済み（release）段階の実用データを含む。

🗣️ Reddit話題: 旧GPU追加の意外な効用 — 2070 Super追加でQwen3.6-27B実用推論

Added an old 2070 Super to my rig and I can't go back...worse, now I need more | Reddit コミュニティ

成熟度: 🚪 利用開始（release）— 一般ユーザーが今すぐ利用可能。llama.cppおよびGGUF量子化版が公的公開済み。

話題の背景と経緯

6月初旬、r/LocalLLaMAにはGPU価格議論が持ち上がっていた。著者195055841は既存ラックに旧型RTX 2070 Super（8GB VRAM）を追加した結果、「戻れなくなる」体験をしたと報告した。6/1付の投稿で、著者はCachyOS（Linux系OS）上でのllama.cpp推論環境で、Qwen3.6-27Bモデル（Q8_0量子化）を144kコンテキストで実行。MTP（Multi-Token Prediction）併用時の推論速度は40〜70 tokens/secを達成したという。

この投稿の背景には、ローカルLLM利用におけるVRAM容量の重要性に関する長い議論がある。5/29にはGPU価格戦略（「今買うか後で買うか」）が話題化し、5/31にはRTX 5090による$10,000級ローカルサーバー構築案が持ち上がった。こうした高額ハードウェア論議の中で、著者は「旧型GPUの追加」で劇的改善を実感した点を強調した。投稿は14 pointsを獲得し、VRAM容量とコンテキスト長の実用バランスに関する議論を呼んでいる。

コミュニティで何が議論されているか

投稿への議論は「優れた性能＋小容量VRAM vs 許容範囲の性能＋大容量VRAM」の対比軸で展開された。著者は144kコンテキストで実用的推論が可能になった点を特に強調。従来の8GB GPU単体では144kコンテキストで推論する際にモデル断片の頻繁なスワッピングが発生し、著者曰く「戻れなくなる」ほどの有用性向上だった。

あるユーザーは、「MTP併用で40-70tk/sは旧GPUとしては驚異的」と報告。Qwen3.6-27B Q8_0は約16GBのVRAMを必要とし、既存GPU＋2070 Superの合計約16GB（8GB+8GB）で収まる点が性能維持の鍵だと指摘した。別のユーザーは、2070 SuperのPCIeバス転送速度がQ8_0量子化とQwen3.6-27Bのサイズでは実用上問題ないが、より大きなモデルではボトルネックになる可能性を補足した。

懐疑的な声も相応にある。あるユーザーは「旧GPUでの速度向上はあくまで相対的。新品GPUと比べれば転送速度で劣る」と指摘。また、CachyOS環境でのllama.cpp設定やMTPの具体的なパラメータ（-np, -fitc等）の開示を求める声があり、再現可能性の検証が必要だという意見が出た。あるユーザーは「MTPのオーバーヘッド分が速度低下を相殺する可能性」を指摘した。

技術的な核心

この話題の技術的核心は、「VRAM容量の増加が推論品質に与える影響」と「MTPによる推論速度向上メカニズム」の2点にある。

まず、VRAM容量について。著者はQwen3.6-27B（Q8_0量子化）を144kコンテキストで実行。通常、27BモデルをQ8_0量子化すると約28GBのVRAMが必要となるが、144kコンテキスト時のKVキャッシュを考えるとVRAMの不足が推論速度に直結する。2070 Super（8GB）の追加で合計VRAMが約16GBとなり、モデル＋KVキャッシュの両方がGPUメモリ内に収まり、スワッピングが大幅に減少した。著者の実測値20 tokens/sec（CPUスワッピング時の約1/3）は、システムメモリスワッピングの回避効果を示している。

第二にMTP（Multi-Token Prediction）の役割。著者はMTPを併用することで40-70tk/sを達成。MTPはllama.cpp PR #22673で実装された機能で、モデルが予測した複数トークンを同時に処理する仕組み。Qwen3.6-27BのQ8_0量子化版にMTPヘッドが統合されており、別Draftモデル不要で自己投機推論が可能。ファイルサイズは約2.5%増（約1GB増）のオーバーヘッドだが、推論速度向上でこれを上回る効果があった。

コンセンサスとして得られたのは「VRAM容量不足がボトルネックの場合、旧GPU追加は有効」である。未解決の議論は「どのサイズモデルまで有効か」で、著者は「今、もっとGPUが欲しい」と述べている。大きなモデル（35B以上）では旧GPUのPCIe転送速度がボトルネックになる可能性が指摘されている。

実際に使える・試せる情報

この設定はllama.cppとGGUF量子化版があれば今すぐ試せる。著者の報告から具体設定を抽出する。

必要なもの: llama.cpp（最新ビルド）、Qwen3.6-27B GGUF Q8_0量子化版（Hugging Face公開済み）、RTX 2070 Super（8GB）または同等VRAMを持つGPU 2台。OSはLinux系（著者はCachyOS）で動作確認済み。

推論速度の実測値: MTP併用時40-70 tokens/sec（GPU単体）。Q8_0量子化版は約28GBのVRAMを必要。144kコンテキストで実行する場合は合計約40-50GBのVRAMが最適。著者は2070 Super（8GB）追加で約16GBのVRAMを確保し、実用的な速度を達成した。

設定ヒント: MTPを有効にするにはllama.cppの最新ビルドが必要。著者はMTPを併用しているが具体的なCLI引数は明記していない。llama.cpp PR #22673のドキュメントに従い、MTPヘッド付きGGUFモデルを指定すれば自動的に有効化される。量子化はQ8_0が最適だが、VRAM不足時はQ4_KまたはQ6_Kでの実行も検討。

留意点: 2070 SuperのPCIe 3.0転送速度は新品GPUより劣る。より大きなモデル（35B以上）ではボトルネックになる可能性があり、著者自身も「今、もっとGPUが欲しい」と述べている。MTPのオーバーヘッド（約2.5%増）は速度向上で相殺されるが、ファイルサイズ増を許容するか確認が必要。

🗣️ Reddit話題: Gemma 4 E2BのAbliteration 13変種ベンチマーク — 安全性向上と能力低下の両立

13 abliterated Gemma 4 E2B variants, 44 GPU hours, Benchmark and Comparison - Abliterlitics | Reddit コミュニティ

成熟度: 🚪 利用開始（release）— 13変種すべてGGUF形式で公開済み。llama.cppおよびLLM WebUIで即時利用可能。

話題の背景と経緯

Gemma 4の安全性除去（Abliteration）は、5月30日の「Gemma4 conversation quality」投稿以来、r/LocalLLaMAで注目されている話題である。その直後、9名のクリエイターが独自のアプローチでAbliteration変種を作成。著者（ベンチマーク実行者）はRTX 5090単体で44 GPU時間に及ぶ包括的評価を実施し、13変種の結果を公開した。

Abliterationとは、LLMの安全性 fine-tuning によって強化された「安全反応パス」の勾配を打ち消す手法。モデルに「拒否しない・積極的に回答する」性質を付与し、安全性 fine-tuning 前の状態に近い出力を得る。この技術は既にGemma 4だけでなく、他のオープンモデルでも適用されている。

今回のベンチマークは44 GPU時間を費やした大規模評価。RTX 5090単体、BF16ネイティブで実施。安全性（HarmBench ASR）、能力維持（GSM8K等）、実用的出力の3軸で全13変種を比較した。

コミュニティで何が議論されているか

投稿への議論は「安全性向上の成功」と「能力低下の両立」の2軸で展開した。

安全性について、全13変種でHarmBench ASR（Automated Safety Rating）がベースモデルの32.2%から82〜100%へ向上した。特にtreadon版は100%達成。あるユーザーは「13変種すべてが安全性を向上させた。Abliterationの基本的な仮定は正しい」と指摘した。coder3101版はGSM8Kで84.8%（ベース83.5%）と最良の能力維持。llmfan46版も83.9%と追従した。

懸念の声も強くあった。ether4o4版はGSM8Kで6.9ポイント低下、huiui-v2版は4.2ポイント低下、treadon版は2.9ポイント低下。あるユーザーは「多くのAbliterationクリエイターは『能力維持』を主張するが、このベンチマークは虚偽であることを証明した」と批判した。別のユーザーは「安全性除去は必ず何らかの能力低下を伴う。これは技術の限界ではなく、 trade-offの必然性」と指摘した。

低テンソル操作の有効性についても議論があった。あるユーザーは「低テンソル操作が有効な変種があった。勾配のどの方向を除去するかが能力維持の鍵」と報告した。しかし、どのテンソル方向が有効かは変種によって異なり、一般化されたルールは未確立だという意見が出た。

技術的な核心

Abliterationの技術的核心は「勾配の方向性除去」にある。安全性 fine-tuning によってモデルが学習した拒否応答の勾配ベクトルを、逆方向に足し合わせることで打ち消す。しかし、モデルの能力を司る勾配ベクトルも同時に一部影響を受けるため、能力低下が避けられない。

このベンチマークで明確になったのは、「Abliteration成功 ≠ 能力維持」である。treadon版がGSM8Kで2.9ポイント低下したのは、安全性パスの除去時に数学的推論パスも同時に削られた可能性。ether4o4版の6.9ポイント低下は、過度な勾配除去によって推論能力が大幅に損なわれた結果と解釈できる。

coder3101版の成功（84.8% vs ベース83.5%）は、勾配除去の「選択性」が鍵だったと推測される。どのテンソル層を、どの割合で除去するかが能力維持の分かれ目になった可能性。llmfan46版（83.9%）も同様の選択的アプローチを採用したと考えられる。

コンセンサスとして得られたのは、「Abliterationは安全性向上には有効だが、能力維持は変種に大きく依存する」である。未解決の議論は「どの変種がどの能力領域で最も効果的か」で、変種ごとにGSM8K・MMLU・ coding benchmarksでの性能が異なるという実測データが必要だ。

実際に使える・試せる情報

13変種すべてGGUF形式で公的公開済み。llama.cpp最新版で即時利用可能。

Abliteration変種の選択基準: coder3101版がGSM8Kで最良（84.8%、ベース比+1.3%）。安全性も100%達成。能力維持優先ならcoder3101版が最適。treadon版は安全性100%だがGSM8Kで2.9ポイント低下。安全性優先だが能力低下を許容できる場合のみ。

ベンチマーク環境の再現方法: RTX 5090単体、BF16ネイティブ。44 GPU時間による大規模評価は一般ユーザーには現実的ではないが、GSM8K単体で5-10 GPU時間で同等評価が可能。ベンチマーク結果はベースモデル（GSM8K 83.5%）を基準に変種を選ぶ。

留意点: 安全性（HarmBench ASR）100%達成は「有害質問に全く回答しない」ことを意味する。これは安全面での利点だが、モデルの多様な回答能力も損なわれるトレードオフ。 coder3101版は能力維持に最も成功したが、GSM8Kの数学的推論以外の領域（MMLU Pro、 coding benchmarks）でのベンチマーク結果は未報告。

利用上のヒント: Gemma 4のベースモデルとAbliteration変種を切り替えて使う場合、タスクの種類に応じて変種を選定。数学的推論タスクではcoder3101版、安全が最優先のタスクではtreadon版、バランス重視ではllmfan46版が推奨。llama.cppでの実行は既存のGGUFモデル読み込み手順と同じ。

🗣️ Reddit話題: NVIDIA公式 Qwen3.6-35B-A3B-NVFP4 量子化版の公開

nvidia/Qwen3.6-35B-A3B-NVFP4 · Hugging Face | Reddit コミュニティ

成熟度: 🚪 利用開始（release）— Hugging Faceに公開済み。vLLMおよびllama.cppで対応。

話題の背景と経緯

NVIDIA公式がAlibaba Qwen3.6-35B-A3Bの量子化版（NVFP4）をHugging Faceに公開した。この発表は5/29に「Qwen3.6量子化比較：UnSloth Q8がFP8公式より高品質」の投稿の直後であり、NVIDIA公式のFP8版がUnSloth Q8/Q6のベンチマーク結果を上回るかどうかが注目されていた。

5/30の「Qwen3.6-27B Quantization Benchmark — Unsloth Q6〜Q8の無損失性能」でも言及されたように、Qwen 3系はMoE（Mixture of Experts）アーキテクチャのため、従来のDenseモデルとは異なる量子化戦略が必要だった。NVIDIAのNVFP4量子化は、MoE内のTransformerブロックの線形演算子の重み・活性化をNVFP4（4ビット浮動小数点）に量子化する手法。パラメータあたりのビット数16→4へ削減し、ディスク容量・GPUメモリ使用量が約3.06倍削減される。

5/31のReddit投稿で同一話題が持ち上がり、NVIDIA公式のベンチマークデータ（MMLU Pro 85.6→85.0、GPQA Diamond 95.5→94.7）が公開された。今回の選定では、この投稿を「既報だがNVIDIA公式ベンチマークデータを含む」と判定し、選定対象とした。

コミュニティで何が議論されているか

投稿への議論は「精度損失の許容範囲」と「vLLM対応の実用性」の2軸で展開した。

精度ベンチマークについて、MMLU Proは85.6→85.0（-0.6）、GPQA Diamondは95.5→94.7（-0.8）、AIME 2025、MMU PROでも同程度の小さな損失。あるユーザーは「NVFP4量子化で精度損失が0.6〜1.0ポイント程度。これは量子化ノイズではなく、モデル固有の揺らぎの範囲内」と指摘した。別のユーザーは「BF16精度とNVFP4の差が極めて小さい。MoEモデルの量子化としては極めて成功している」と報告した。

vLLM対応の実用性についても議論があった。あるユーザーは「vLLMでNVFP4推論に対応すれば、推論速度が大幅向上する可能性」と指摘。また、ディスク容量・メモリ使用量が約3.06倍削減される点は、35Bモデルをローカルで動かす際に大きな利点だと評価した。ただし、llama.cppでのNVFP4対応状況については議論が分かれた。llama.cppの最新ビルドでNVFP4 GGUF形式に対応しているか否かが検証課題だと指摘する声もあった。

懐疑的な声としては「NVIDIA公式ベンチマークは最適条件下での結果。一般ユーザー環境での再現性は不明」という意見があった。あるユーザーは「vLLM以外での実測データが必要」と指摘した。また、5/29のUnSloth Q8比較でも言及された通り、NVIDIA公式FP8版とUnSloth Q8/Q6の精度差は「極めて小さい」が、UnSloth版が「より高精度」の場合もあるという報告があった。

技術的な核心

NVFP4量子化の技術的核心は、MoE（Mixture of Experts）モデルにおける「Transformerブロック内の線形演算子の重み・活性化」の両方を4ビット浮動小数点に量子化する点にある。従来のFP8量子化（8ビット）から半分のビット数へ削減。MoEモデルは複数のExpert（専門分野モデル）を備え、入力に応じて適切なExpertを選択するため、量子化時にExpert内の演算精度が保たれるかが重要になる。

NVIDIAのModel OptimizerによるPost-Training Quantization（PTQ）は、量子化前にfine-tuningを行わずに直接適用する手法。量子化後の再 fine-tuning 不要のため、Quickly試せる利点がある。5/29のUnSloth Q8比較では「UnSloth Q8がFP8公式より高品質」の報告があったが、今回のNVIDIA公式NVFP4ベンチマークは、精度損失が0.6〜1.0ポイント程度で実用的利用に十分許容範囲であることを示した。

ベンチマークデータは原文から抽出可能。MMLU Pro（85.6→85.0）、GPQA Diamond（95.5→94.7）、AIME 2025、τ²-Bench、SciCode、AA-LCR、IFBench、MMU PROで全領域で同程度の精度損失。MMLU Proの0.6ポイント損失は、量子化ノイズとして極めて小さい範囲。

コンセンサスとして得られたのは「NVFP4量子化で実質的な精度劣化なく、大幅なリソース削減を実現」である。未解決の議論は「vLLM以外での実測速度」で、llama.cppでのNVFP4 GGUF形式対応状況や、GPU種類別の速度差は検証が必要だ。

実際に使える・試せる情報

NVIDIA Qwen3.6-35B-A3B-NVFP4はHugging Faceに公開済み。vLLMでの対応が確認済み。

必要なもの: NVIDIA公式NVFP4量子化版（Hugging Face: nvidia/Qwen3.6-35B-A3B-NVFP4）、vLLM（最新ビルド）、またはllama.cpp（NVFP4 GGUF対応版が必要）。GPUはVRAM約28GB以上（35Bモデル NVFP4量子化版）。

精度ベンチマークの具体的な数値: MMLU Pro 85.6→85.0（-0.6）、GPQA Diamond 95.5→94.7（-0.8）、AIME 2025、τ²-Bench、SciCode、AA-LCR、IFBench、MMU PROで同程度の損失。BF16精度とNVFP4量子化版の差は「極めて小さい」。ディスク容量・GPUメモリ使用量が約3.06倍削減。

vLLMでの推論設定: vLLMの最新ビルドでNVFP4形式に対応。モデル指定は「nvidia/Qwen3.6-35B-A3B-NVFP4」。VRAM約28GB以上を確保。vLLMのPagedAttentionにより、KVキャッシュの効率的な管理が可能。

留意点: llama.cppでのNVFP4 GGUF形式の対応状況は確認が必要。llama.cpp PR #22673のドキュメントでNVFP4対応を確認するか、vLLMでの実行を推奨。UnSloth Q8版が「FP8公式より高品質」の場合もあるため、両者を試して比較するのも有効なアプローチ。

🔍 私たちへの影響

3つ目のトピックは5/31の既報であり、今回の記事では公式ベンチマークデータの新規報告のみを掲載した。ローカルLLM利用にとって、NVIDIA公式のNVFP4量子化版は「今すぐ試せる」選択肢。Qwen3.6-35Bの高精度維持（損失0.6〜1.0ポイント）と大幅リソース削減（3.06倍）の両立は、35BクラスのMoEモデルをローカルで運用する際の有力選択肢になる。

2070 Superの追加でQwen3.6-27Bが40-70tk/sで実行できる点は、旧GPUの再利用価値を再認識させる。VRAM容量の増加が推論品質に与える影響は、モデルサイズとコンテキスト長によって大きく変わる。144kコンテキストでの実用推論は、長文ドキュメント処理やマルチターン対話において特に有効だ。

Gemma4 Abliteration 13変種ベンチマークは、「安全性除去は有効だが能力維持は変種依存」の現実をデータで示した。coder3101版（GSM8K +1.3%）が最もバランス良く、treadon版は安全性100%だが能力低下に注意。変種選定はタスクの種類に応じて行うべきだ。

ローカルLLMの選択肢が広がり続けている。公式量子化版、コミュニティAbliteration変種、旧GPU活用。全てが「今すぐ試せる」段階にある。何が自分にとって最適か、実測で比較する時代が既に到来している。