山村商店

Strata v0.1.43 修正：Linux 環境での推論速度低下を回避し、AMD GPU 対応を強化

StrataローカルLLMQwenGPULLM

目次
  1. 今回の要点
  2. v0.1.43 の Linux CUDA 推論速度低下（Adaptive Overlap）と修正
  3. Strata v0.1.43.1 リリース：Linux CUDA 復調と Windows/SATA 不具合修正
  4. AMD Strix Halo (gfx1151) と RDNA4 (gfx1201) のサポート状況と不具合
  5. RTX 5090/4090/3090 等、最新・主流 GPU のコミュニティベンチマーク集
  6. マルチ GPU 構成（RTX 3090/4090 等）のレイヤ分割ベンチマーク
  7. 出典

Strata は Niko1221 (@coldniko) が開発する、Qwen3.8-Flash-Next (125B MoE) を 8GB 以上の NVIDIA GPU とシステム RAM で動かすローカル推論エンジン。OpenAI/Anthropic 互換 API、MIT ライセンス。

今回の要点

  • v0.1.43 で Linux 環境の NVIDIA GPU ユーザーが直面していた推論速度の大幅低下（最大 26%）が、v0.1.43.1 で修正された。
  • 速度低下の原因だった「Adaptive Overlap」機能が、v0.1.43.1 ではすべてのバックエンドでデフォルト無効（オプトイン）となった。
  • AMD Strix Halo (gfx1151) や RDNA4 (gfx1201) 搭載 PC 向けに、セットアップスクリプトのサポートやベンチマーク報告が寄せられている。
  • RTX 4090 や RTX 5090 などの最新 GPU における、コミュニティによる実測ベンチマークデータが多数公開されている。
  • マルチ GPU 構成（レイヤ分割）では、量子化形式（IQ3_XXS など）がプロンプト処理速度に直結することが実証された。

v0.1.43 の Linux CUDA 推論速度低下（Adaptive Overlap）と修正

前提

Strata は MoE モデルの演算において、GPU と CPU 間のデータ転送と計算を重叠（Overlap）させる機能「Adaptive Overlap」を提供しています。v0.1.43 では Linux 環境の CUDA 向けにこの機能がデフォルトで有効化されました。

何が変わったか

v0.1.43 のデフォルト有効化により、一部の Linux 環境では推論速度（decode）が最大 26% 低下する現象が発生しました。例えば、RTX 5090 Laptop では 106.6 tok/s から 84.6 tok/s へ、RTX 5070 Ti では 86.4 tok/s から 68.4 tok/s へ速度が落ちています。この問題は v0.1.43.1 で修正され、Adaptive Overlap はすべてのバックエンドでデフォルト無効（オプトイン）となりました。

なぜ重要か

Linux 環境で Strata を使用しているユーザーは、v0.1.43 をそのまま使っていた場合、体感的な速度低下を被っていました。v0.1.43.1 へのアップデート、または環境変数 STRATA_ADAPT_OVERLAP=0 の設定により、速度が回復します。

根拠のリンク

利用者の報告

複数のユーザーから、環境に応じた速度変化の報告があります。

  • 速度低下の報告: Krypto-Whitehat 氏は RTX 5090 Laptop (WSL2) で、デフォルト設定時に 84.6 tok/s、STRATA_ADAPT_OVERLAP=0 で 106.6 tok/s を記録し、約 21% の低下を確認しました。jstrot 氏も RTX 5060 Ti で v0.1.42 の約 64 tok/s から v0.1.43 デフォルトで約 52 tok/s へ低下し、無効化で回復したと報告しています。dynaxbill 氏は 2x RTX 3090 構成で、バッチ処理時に 153.60 tok/s から 121.53 tok/s へ約 21% のスループット低下を確認しています。
  • 速度向上・変化なしの報告: gravitomagnetic 氏はデスクトップ版 RTX 5090 で、デフォルト有効時に instruct で +1.2%、greedy decode で +2.4% の向上を確認しました。blange48 氏は 4x RTX 5080 構成で、デフォルトと無効時の差は 1-2% 程度で範囲内だったと報告しています。

Strata v0.1.43.1 リリース：Linux CUDA 復調と Windows/SATA 不具合修正

前提

v0.1.43.1 は、v0.1.43 で報告された主要な不具合を修正するホットフィックスリリースです。

何が変わったか

Linux 環境での NVIDIA GPU 推論速度が復旧しました。また、Windows 環境で長いプロンプト処理時にハングアップする問題や、SATA SSD 搭載環境での問題、2 枚カードのバッチ処理速度低下（約 35% 向上）、AMD RX 6000 シリーズのプロンプト処理速度低下などが修正されました。回答の品質は v0.1.43 と同一（バイトレベルで同一）です。

なぜ重要か

v0.1.43 を使用していたユーザーは、アップデートまたは環境変数の設定により、安定した速度と Windows 環境での信頼性を回復できます。

根拠のリンク

AMD Strix Halo (gfx1151) と RDNA4 (gfx1201) のサポート状況と不具合

前提

AMD GPU 搭載 PC（Ryzen AI シリーズなど）では、HIP/ROCm 環境での動作確認が進められています。Strix Halo (gfx1151) は統合メモリアーキテクチャ、RDNA4 (gfx1201) は新世代アーキテクチャとして報告が寄せられています。

何が変わったか

Strix Halo (gfx1151) 搭載 Windows PC で、ビルド済みエンジンが起動しない（unspecified launch failure）という報告があります。また、4K プロンプト処理時に設定閾値の影響で約 16% 遅くなる現象も報告されています。一方で、RDNA4 (gfx1201) 搭載の Radeon AI PRO R9700 や RX 9070 XT でのベンチマーク報告や、gfx1150 (Strix Point) 向けの実験的サポートが PR として提出されています。

なぜ重要か

AMD 新世代 CPU/GPU 搭載 PC を使用しているユーザーは、設定の調整や実験的オプションの有効化が必要になる場合があります。特に Strix Halo ユーザーは、メモリ割り当てに関する調整が必要な可能性があります。

根拠のリンク

利用者の報告

400msstack 氏は Windows Strix Halo 環境で、エンジンが起動せずエラーが発生したと報告しています。開発者である Niko1221 氏は、メモリ割り当て（Arena）とドライバーのキャブアウト競合が原因の可能性を指摘し、STRATA_ARENA_PIN_GIB=16 などの調整を試すよう提案しています。

libratechw 氏は、Strix Halo 環境で 4K プロンプト処理時に STRATA_PF_SWITCH_MIN_T の設定影響で約 16% 遅くなっていると報告しています。

PR #2132 では、Radeon AI PRO R9700 (gfx1201) 環境で、実験的オプション STRATA_HIP_WMMA=1 有効化によりプロンプト処理が +25% 向上したとの報告があります。

RTX 5090/4090/3090 等、最新・主流 GPU のコミュニティベンチマーク集

前提

Strata の公式ベンチマークツール tools/strata_bench.py を使用した、コミュニティによる実機ベンチマーク報告が多数寄せられています。

何が変わったか

RTX 5090、RTX 4090、RTX 3090 などの最新・主流 GPU における、Qwen3.8-Flash-Next モデルの実測速度データが公開されています。量子化形式（IQ3_S, IQ3_XXS, UD-IQ4_XS など）やコンテキスト長に応じたプロンプト処理速度（tok/s）やデコード速度が記録されています。

なぜ重要か

自身の GPU に近い環境での実測値を参考にして、量子化形式や設定を選択できます。特に、マルチ GPU 構成や長いコンテキスト使用時の速度傾向が把握できます。

根拠のリンク

利用者の報告

  • Ubuntu 24.04.5 LTS、ドライバー 580.178.04、Strata engine 0.1.42 環境の RTX PRO 5000 72GB (Blackwell) で Qwen3.8-Flash-Next IQ3_S を実行した結果、フルエキスパート residency が達成され VRAM ミスが発生しなかったが、300W の電力制限によりデコード負荷時に SM クロックが低下し電力制約状態となった。 jiangpedro
  • dotLLM において Strata をパフォーマンスターゲットとして Qwen3.8-Flash-Next (qwen4_exp) の Strix Halo (Vulkan) 対応を進めており、IQ カーネル作業がスコープに含まれている。 jamesburton

利用者の報告

  • PR #2156 によると、RTX 4090 環境で flash-next-unsloth UD-IQ4_XS (204K コンテキスト) を使用した場合、チャットデコードは 38.6 tok/s、4K プロンプト処理は 757.1 tok/s でした。
  • Issue #2133 では、RTX 5090 + Threadripper 9960X 環境で Swift 1.5 IQ3_S (131K コンテキスト) のベンチマークが報告されています。
  • Issue #2097 では、RTX 3090 環境で Qwen3.8 Flash-Next UD-IQ4_XS (262K コンテキスト) のベンチマークが報告されています。

マルチ GPU 構成（RTX 3090/4090 等）のレイヤ分割ベンチマーク

前提

Strata は複数の GPU を持つ環境で、モデルのレイヤを分割して（layer-split）実行することができます。これにより、単一 GPU ではメモリ不足で動かない大規模モデルも実行可能になります。

何が変わったか

4 枚の GPU（RTX 5060 Ti + 2x RTX 3090 + RTX 3060 等）を用いたマルチ GPU 構成でのベンチマーク報告が寄せられています。量子化形式（IQ3_XXS, IQ3_S, UD-IQ4_XS）の違いが、プロンプト処理速度に大きな影響を与えることが示されました。デコード速度は量子化形式によらずほぼ同等でしたが、プロンプト処理速度は IQ3_XXS が最も速く、UD-IQ4_XS は 2.4-2.9 倍遅くなりました。

なぜ重要か

マルチ GPU 構成で Strata を使用する際、量子化形式の選択はプロンプト処理速度に直結します。エージェントなどが長い履歴を再送する用途では、軽量な量子化形式（IQ3_XXS 等）の採用が推奨されます。

根拠のリンク

利用者の報告

tonydiep 氏は、4 枚 GPU 構成で IQ4_XS を使用した場合、デコードは 91-96 tok/s で安定していたが、プロンプト処理は IQ3_XXS と比較して 2.4-2.9 倍遅くなったと報告しています。エージェント用途では履歴再送のコストが大きいため、IQ3_XXS を維持したとのことです。

Issue #2124 の報告では、同じ構成で IQ3_XXS、IQ3_S、UD-IQ4_XS を比較した結果、デコード速度は 111 / 103 / 91 tok/s とほぼ同等でしたが、32K プロンプト処理速度は 3,228 / 1,946 / 1,270 tok/s と大きな差が出たと報告されています。これは、エンジンが確保できる「レジデント（常駐）エキスパート」の割合（98% / 86% / 81%）に比例しているとの分析があります。

出典

【宣伝】SwitchBot 購入はこちらから

SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。
製品ごとの特徴・紹介動画は SwitchBot 製品ガイド にまとめています。