Strata v0.1.39: 高速化と新機能、AMD GPUの速度低下と修正

Strata は Niko1221 (@coldniko) が開発する、Qwen3.8-Flash-Next (125B MoE) を 8GB 以上の NVIDIA GPU とシステム RAM で動かすローカル推論エンジン。OpenAI/Anthropic 互換 API、MIT ライセンス。

今回の要点

• Strata v0.1.39 がリリースされ、デコード速度が最大 6% 向上し、長文プロンプト処理が改善された。
• Windows 環境の AMD GPU (RX 6800) で v0.1.39 導入後にデコード速度が 12〜22% 低下する事象が報告された。
• AMD GPU の速度低下は、環境変数 STRATA_SH_STREAM=0 で回避可能であり、修正パッチも提出されている。
• API サーバー側で Codex 対応 (Responses API) やツール呼び出しの精度向上が行われた。
• ビジョン機能の VRAM 使用効率が改善され、画像処理時のメモリ管理が柔軟になった。

Strata v0.1.39 リリース: 高速化・Responses API・多機能追加

Strata v0.1.39 がリリースされた。主な変更点はデコード速度の向上と、長文プロンプトの処理改善である。

デコード速度については、検証パスの起動回数を減らし、ホストと GPU 間の往復を削減する最適化が行われた。その結果、RTX 5070 でのベンチマークでは、Q2_0 量子化で 6% の向上 (68.4 → 72.7 tok/s)、IQ3_XXS で 6% / 2.5% の向上が確認された。出力は 0.1.38 とバイトレベルで同一である https://github.com/Niko1221/Strata/releases/tag/v0.1.39。

長文プロンプト処理では、ストリーミングされるエキスパートリングのサイズがバイト単位で調整され、--prefill auto が最大のチャンクを選択するようになった。これにより、32K トークンのプロンプトで IQ3_XXS が 18.5% 向上した例も報告されている https://github.com/Niko1221/Strata/releases/tag/v0.1.39。

また、API サーバー側では OpenAI 互換の Responses API が追加され、Codex での利用が可能になった。ツール呼び出しの処理も改善され、tool_choice の required や特定の関数名の指定が正しく処理されるようになった https://github.com/Niko1221/Strata/pull/790。

Windows HIP (RX 6800) で v0.1.39 導入後にデコード速度が低下

v0.1.39 の導入により、Windows 環境の AMD GPU (RX 6800 等、gfx1030) でデコード速度が 12〜22% 低下する事象が報告された。これは v0.1.38 からの回帰 (regression) である。

原因は、共有エキスパートの処理が第 2 のストリームにフォークされるようになったことにある。CUDA ではこのオーバーラップが効果的だが、HIP 環境ではストリーム間のイベント依存関係のコストが、共有エキスパートの処理時間よりも大きくなり、逆効果となった https://github.com/Niko1221/Strata/pull/826。

利用者の報告

did-technomancer 氏は、RX 6800 (gfx1030) 環境で 0.1.39 のデコード速度が 0.1.38 より 12〜22% 低下したと報告している。環境は Windows 11 26H2、ROCm 10.2.0a20260930、Qwen3.8-Flash-Next IQ2_XS である。この環境で STRATA_SH_STREAM=0 を設定すると、速度低下が解消され、0.1.38 よりも高速な結果が得られた https://github.com/Niko1221/Strata/issues/816。

pugolini 氏は、RDNA4 / gfx1201 (Radeon AI PRO R9700) 環境でも同様の事象を確認し、STRATA_SH_STREAM=0 でデコード速度が 43.4 → 63.0 t/s と 45% 向上したと報告している https://github.com/Niko1221/Strata/issues/816#issuecomment-5983812114。

Qwen3.8-Flash-Next (IQ3_S) の多環境ベンチマーク結果

コミュニティから IQ3_S 量子化モデルを用いた多様なハードウェアでのベンチマーク結果が報告されている。

yy16432 氏は、RTX 5070 Ti 単体と RTX 5060 Ti 2枚構成 (レイヤースプリット) の比較を行った。RTX 5070 Ti 単体の方が、多くの設定で高いパフォーマンスを示した https://github.com/Niko1221/Strata/issues/791。

steve8697 氏は、RTX 5090 + Ryzen 7 9700X 環境で IQ3_S のベンチマークを報告した。Windows 11 26H2、CUDA 13.0 環境で、Strata 0.1.39 のパフォーマンスを確認している https://github.com/Niko1221/Strata/pull/811。

JiuYue0820 氏は、RTX 5070 Ti 16 GB 環境で 256K コンテキストでのベンチマークを報告した。--spec 6 とキャリブレーション、学習済みエキスパートプロファイルを使用することで、デコード速度が 2.5〜3.1 倍向上した https://github.com/Niko1221/Strata/issues/775。

Serve APIの改善: Responses API対応とツール呼び出し処理

v0.1.39 では、API サーバーの機能が大幅に強化された。OpenAI 互換の Responses API が追加され、Codex での利用が可能になった https://github.com/Niko1221/Strata/releases/tag/v0.1.39。

ツール呼び出しの処理では、tool_choice の required や特定の関数名の指定が正しく処理されるようになった https://github.com/Niko1221/Strata/pull/790。また、モデルがプロースで回答した場合でも、ツール呼び出しを強制するリトライ処理や、構造化出力の検証が改善された https://github.com/Niko1221/Strata/pull/763。

ビジョン機能の統合改善: 画像ブロック処理とWindows対応

ビジョン機能の統合が改善された。Anthropic の tool_result ブロック内の画像が、正しくモデルに渡されるようになった https://github.com/Niko1221/Strata/pull/819。

また、ビジョンエンコーダーの VRAM 使用効率が改善され、"lazy": true と "vram_elastic": true を設定することで、画像リクエストがない時は VRAM をエキスパートキャッシュに返すようになった https://github.com/Niko1221/Strata/pull/805。

出典

• Strata v0.1.39
• 0.1.39: decode on an RX 6800 (gfx1030, Windows) is 12-22% slower than 0.1.38; STRATA_SH_STREAM=0 removes it
• verify: the shared-expert stream fork starts off on HIP (fixes the 0.1.38 -> 0.1.39 decode regression, #816)
• bench: community results for an RX 6800 on Windows (0.1.39 against 0.1.38)
• Community benchmark: IQ3_S and community AP-Q4_K_M — single RTX 5070 Ti vs 2× RTX 5060 Ti layer split
• Add an RTX 5090 + Ryzen 7 9700X IQ3_S benchmark on engine 0.1.39
• bench: community results for an RTX 4090 Laptop GPU (IQ3_S, 128K and 256K)
• Community benchmark: Flash-Next IQ3_S on an RTX 4080 SUPER (Windows), with the expert-pool worker sweep
• Community result: 2.5-3.1x output at 256K context on a 16 GB card (IQ3_S) - calibration, --spec 6, learned profile
• Add assistant prefill support for chat completions
• serve: accept json_schema roots that are unions of object schemas
• serve: honour OpenAI tool_choice "required" and a named function
• serve: enforce OpenAI tool_choice and allow structured output with tools
• serve: extract JSON from prose and code fences
• frontend: images inside Anthropic tool_result blocks reach the model
• Lazy vision encoder: per-GPU elastic expert caches
• Proposal: a common benchmark format and a comparison page for community reports

利用者の報告

• Qwen3.8-Flash-Next IQ3_Sのベンチマークデータに、AP-Q4_K_Mの値が混入している疑いや、AP-Q4_K_Mの中央値が最大値を上回る不整合があり、データ確認を推奨。 brenoperucchi
• RTX 4090 (Ubuntu, Xeon) 環境で Qwen3.8-Flash-Next IQ2_XS をテストしたが、生成されたゲームの物理挙動が粗く、結果は却下された。 darkerow
• 2× RTX 3060 (PCIe Gen3, Xeon E5-2678 v3, DDR3) 環境で Q2_0 と IQ3_S を測定し、Q2_0 は単一ラン、IQ3_S は3ランの中央値と範囲を報告。 zimuhuan-code
• NVIDIA B300 (TP1) 環境で Qwen3.8-Flash-Next NVFP4 の速度と GSM8K 精度を測定し、PLE offload 設定の違いを含めたベンチマーク結果を提示。 dhruvrnaik