山村商店

Strata v0.1.40 リリース：AMD Windows 環境の初の実モデル推論と RTX 50 シリーズの実測データ

StrataローカルLLMQwenGPULLM

目次
  1. 今回の要点
  2. Strata v0.1.40 リリースと主要なバグ修正・機能追加
  3. Windows AMD (HIP) サポートの拡充と Strix Halo/RDNA1 対応
  4. RTX 50シリーズ（5090/5080/5070 Ti）の実測ベンチマーク報告
  5. K/Vキャッシュの弾性化（kv-grow）とメモリ管理の最適化
  6. MCP経由でのCodexエージェント統合とツール呼び出しの改善
  7. 出典

Strata は Niko1221 (@coldniko) が開発する、Qwen3.8-Flash-Next (125B MoE) を 8GB 以上の NVIDIA GPU とシステム RAM で動かすローカル推論エンジン。OpenAI/Anthropic 互換 API、MIT ライセンス。

今回の要点

  • Strata v0.1.40 がリリースされ、Docker 設定の不具合修正やマルチ GPU 関連のバグフィックスが含まれる。
  • Windows 上の AMD GPU (Radeon 8060S / 890M) で、Strix Halo 環境における初の実モデルエンドツーエンド推論に成功した報告がある。
  • RTX 5090、5080、5070 Ti、5060 Ti におけるベンチマークデータが多数報告され、特に 5060 Ti 16GB 向けのチューニング指針が示された。
  • K/V キャッシュの弾性化（--kv-grow）がバッチ処理やマルチ GPU 環境でも有効化され、メモリ管理が最適化された。
  • Codex エージェントとの統合が強化され、ツール呼び出しの復元やコンパクション処理が改善された。

Strata v0.1.40 リリースと主要なバグ修正・機能追加

前提

Strata は Qwen3.8-Flash-Next (125B MoE) をローカルで推論するためのエンジンであり、v0.1.40 では Docker 環境やマルチ GPU 構成における安定性が重点的に改善されました。

何が変わったか

v0.1.40 では、Docker コンテナ内の設定ファイルが正しく読み込まれない不具合や、マルチ GPU 構成におけるバッチ処理の異常終了などが修正されました。また、キャッシュフィルステージのバッファ確保方法が変更され、ページャブルメモリからピン留めメモリへの変更により、H2D（ホストからデバイス）転送のオーバーヘッドが削減されました。

なぜ重要か

Docker を利用するユーザーにとって、設定変更が反映されない問題は運用上の障害となります。また、マルチ GPU 環境でのバッチ処理の安定化は、VRAM が不足する環境で複数の GPU を活用する際、処理の中断を防ぐために重要です。

根拠のリンク

利用者の報告

  • RTX 4090 (Ubuntu, 64GB RAM) 環境で Qwen3.8-Flash-Next (IQ2_XS) を実行した結果、ゲーム生成の物理挙動が粗く失敗した。 darkerow
  • 2× RTX 3060 (12GB, PCIe Gen3) 環境で Q2_0 と IQ3_S のベンチマークを測定し、Q2_0 は単一ラン、IQ3_S は3ランの中央値と範囲を報告した。 zimuhuan-code
  • Tesla P100 (16GB) 単体および RTX 2070 SUPER を補助キャッシュとして使用した環境で Q2_0 を実行し、それぞれ約 30 tok/s、36-38 tok/s のデコード速度を得た。 tobby1968

利用者の報告

Docker 設定の無視問題

ampersandru 氏は、Unraid 上の Portainer で Strata v0.1.40 を実行している環境で、ホスト側の /data/config ディレクトリにある設定ファイルの編集が、コンテナ再起動後に無視される現象を報告しています。v0.1.39 では正常に動作していた設定が、v0.1.40 では /opt/strata 配下の古い設定が使われ続けていました。環境は RTX 3090 24GB と RTX 5060 Ti 16GB のマルチ GPU 構成です。

マルチ GPU 構成におけるバッチ処理の異常終了

paulhothersall 氏は、RTX 3070 と Tesla P40 の組み合わせで、GPU 0 に 3070、GPU 1 に P40 を割り当てた場合、2 番目のリクエスト受信時に verify batch: layer 34 never rang (graph finished) というエラーでプロセスが終了することを報告しています。GPU の順序を逆（P40 を GPU 0）にすると正常に動作します。この現象は --batch や --layer-split の設定に関わらず再現します。

AMD GPU のマルチ GPU 検知

runningman84 氏は、RX 7900 XT と RX 9070 XT の 2 枚の AMD GPU を搭載した環境で、セットアップ時には両方が検知されるものの、実際の推論では 7900 XT のみが使用される現象を報告しています。これは意図された動作かどうかの確認です。

Windows AMD (HIP) サポートの拡充と Strix Halo/RDNA1 対応

前提

Strata は AMD GPU 向けに HIP ベックエンドを提供しており、Windows 環境での動作保証範囲が拡大しました。

何が変わったか

v0.1.40 では、Windows 上の AMD GPU 向けに、Strix Halo (gfx1151) および Strix Point (gfx1150) に対応するビルドとランタイムが提供されました。また、RDNA3 (gfx11) 世代の GPU 向けに、プロンプト処理における WMMA（ウェイトマニピュレーション）の活用が実装され、推論速度の向上が図られています。Web Monitor における GPU 負荷や温度の表示も、Windows AMD 環境で正常に表示されるようになりました。

なぜ重要か

Windows ユーザーにとって、AMD GPU、特に最新の Strix Halo 搭載ノート PC やデスクトップ PC でのローカル LLM 利用が現実的な選択肢となります。推論速度の向上は、長いプロンプト処理時の待ち時間を短縮し、ユーザー体験を向上させます。

根拠のリンク

利用者の報告

Strix Halo (Radeon 8060S) での実モデル推論

Facostarr 氏は、Windows 11 上の Ryzen AI Max+ 395 (Radeon 8060S, gfx1151) で、Strata v0.1.40 を用いて Qwen3.8-Flash-Next UD-IQ4_XS のエンドツーエンド推論に成功したと報告しています。1K〜32K のコンテキストでデコード速度は 29.5〜30.4 tok/s を記録しました。ただし、32K のプロンプトを冷たい状態（キャッシュなし）で処理する際に、GPU ドライバーのタイムアウト（TDR）が発生する課題も指摘されています。

Strix Point (Radeon 890M) での動作

zeriyoshi 氏は、Ryzen AI 9 HX PRO 370 (Radeon 890M, gfx1150) 上で Strata v0.1.40.1 をビルド・実行し、IQ3_XXS モデルのチャットとツール呼び出しに成功したと報告しています。デコード速度は 17〜19 tok/s、プロンプト読み込みは 125〜135 tok/s でした。gfx1150 は公式には未検証リストへの追加提案段階です。

RTX 50シリーズ（5090/5080/5070 Ti）の実測ベンチマーク報告

前提

次世代 GPU である RTX 50 シリーズ（Blackwell アーキテクチャ）での Strata の性能評価データが蓄積され始めています。

何が変わったか

RTX 5090、5080、5070 Ti、5060 Ti におけるベンチマークデータが報告されています。特に RTX 5080 では IQ3_S モデルで 2,344〜3,603 tok/s（プロンプト処理）および 80〜98 tok/s（デコード）という高速な結果が記録されました。RTX 5060 Ti 16GB では、36〜42 tok/s のデコード速度を達成するためのチューニング指針（ゲートパラメータの再スキャン、大ページの使用など）が示されました。一方で、RTX 5070 Ti では想定を下回る低速なデコード（9〜10 tok/s）が報告され、電源設定や PCIe の影響が指摘されています。

なぜ重要か

RTX 50 シリーズを購入予定のユーザーや、既存のユーザーにとって、どのモデル（量子化形式）が最適か、どのような設定が性能を引き出すかの指針となります。特に 5060 Ti 16GB は VRAM 容量と価格のバランスから注目されており、そのチューニング方法は多くのユーザーに参考になります。

根拠のリンク

利用者の報告

RTX 5080 の高速推論

コミュニティ報告 によれば、RTX 5080 (PCIe 5.0 x8) + Ryzen 9 9900X3D 環境で、IQ3_S モデルは 262K コンテキストにおいて 80〜98 tok/s のデコード速度を記録しました。Unsloth UD-IQ4_XS のキャリブレーションにより、デコード速度が 13〜44% 向上したとのことです。

RTX 5060 Ti 16GB のチューニング

djaafer1975 氏は、RTX 5060 Ti 16GB + i5-12600KF 環境で、IQ3_S モデルを用いて 36〜42 tok/s のデコード速度を達成しました。デフォルトの spec-min-p 0.5 ではなく、ローカルでスキャンした 0.7 が最適であり、中国語では明確に改善、コードでは中立な効果があったと報告しています。また、大ページや PLE FP8 の使用も有効な指針として示されています。

RTX 5070 Ti の低速化と要因

annD-annD 氏は、RTX 5070 Ti 16GB + Ryzen 9 9950X 環境で、IQ3_S モデルのデコード速度が 9〜10.6 tok/s と、想定を下回る結果になったと報告しています。GPU 負荷は高い（99-100%）ものの、消費電力は 60W 未満に抑えられており、電源設定や PCIe のパワーセービングが要因として指摘されています。dandandelion 氏は、OS レベルや BIOS レベルでのパワーセービング無効化を提案しています。krabokiller 氏は、デスクトップの視覚効果（KWin のぼかしなど）を無効化することで、RTX 4080 で 3 倍の改善があったと報告しています。

K/Vキャッシュの弾性化（kv-grow）とメモリ管理の最適化

前提

K/V キャッシュは推論中のメモリ使用量の大部分を占め、その効率的な管理が重要です。Strata では --kv-grow オプションにより、必要な分だけキャッシュを拡張する弾性化が導入されています。

何が変わったか

v0.1.40 では、--kv-grow が --batch（バッチ処理）や --peer-device（マルチ GPU）環境でも有効化されました。これにより、バッチスロットごとに個別の K/V セッションが弾性的に管理され、未使用分のメモリを節約できます。また、会話キャッシュにおいて、一時停止中の会話が予約するメモリ量が 16 MiB から 1/8 に削減され、キャッシュからの eviction（追放）が減少しました。さらに、ツール呼び出しの復元機能（tool_call_recovery）がオプションとして追加されました。

なぜ重要か

VRAM が限られる環境では、K/V キャッシュのメモリ使用量を最小限に抑えることが、より長いコンテキストや複数の同時リクエストを可能にします。会話キャッシュの最適化により、履歴の長い会話でもメモリを効率的に再利用できます。

根拠のリンク

利用者の報告

K/V キャッシュ関連の既知の問題

baiqvesse 氏は、RTX 5080 上で --kv k8v4 と --kv-resident を組み合わせた場合、自由生成中にモデルが反復（degenerate repetition）に陥る現象を報告しています。この組み合わせは v0.1.40 で新たに有効化されたものです。一方、taxah92 氏は、Tesla V100 (Volta) 環境では同様の構成でも問題なく動作したと報告しており、アーキテクチャ依存の可能性が示唆されています。

MCP経由でのCodexエージェント統合とツール呼び出しの改善

前提

Strata は MCP（Model Context Protocol）経由で外部ツールと連携できます。Codex エージェントとの統合において、ツール呼び出しの形式や会話の圧縮（コンパクション）処理が改善されました。

何が変わったか

Codex が送信する additional_tools 形式の入力が正常に処理されるようになり、ツール呼び出しの復元（tool_call_recovery）がオプションで利用可能になりました。また、Codex による会話のコンパクション時、ツール定義を再利用することで、プロンプト読み込み時間を大幅に短縮しました。スレッドタイトル生成リクエストも、エンジンへの読み込みをスキップして即座に応答するよう最適化されました。

なぜ重要か

Codex などのエージェントツールを使用するユーザーにとって、ツール呼び出しの信頼性向上と処理速度の改善は、実用的な利用のために不可欠です。

根拠のリンク

利用者の報告

Codex ツール呼び出しの復元

BGonnermann 氏は、Codex が送信する additional_tools 形式の入力を、Strata が正常にツールとして認識するよう修正しました。hys17 氏は、この修正により Xcode 内の Codex エージェントがツール呼び出しを正常に実行できるようになったと報告しています。Strata 0.1.40 以降での動作を確認する必要があります。

Codex によるコンパクションの高速化

softbearlolz 氏の報告によれば、Codex による会話のコンパクション時、ツール定義を再利用することで、プロンプト読み込み時間が 48 秒から 3 秒に短縮されました。これは、コンテキストが長い会話において、再読み込みを回避する効果的な最適化です。

出典

【宣伝】SwitchBot 購入はこちらから

SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。
製品ごとの特徴・紹介動画は SwitchBot 製品ガイド にまとめています。