山村商店

Strata v0.1.41：VRAM非対称環境の速度低下修正とAMD/Intel GPUの互換性向上

StrataローカルLLMQwenGPULLM

目次
  1. 今回の要点
  2. v0.1.41 リリース：マルチGPU高速化、Windows短プロンプト高速化、多数のバグフィックス
  3. v0.1.40.4：Pascal GPU (GTX 1080等) のデコード速度低下を修正
  4. Strata v0.1.41の自動カード順序設定がVRAM非対称環境で性能劣化を引き起こす不具合
  5. Intel Arc GPU (Alchemist/Battlemage) 向けSYCLポートの互換性修正とベンチマーク
  6. AMD RDNA4 (RX 9070) と Instinct MI50 向け最適化と互換性修正
  7. 出典

Niko1221 (@coldniko) 開発のローカル推論エンジン「Strata」で、Qwen3.8-Flash-Next (125B MoE) を 8GB 以上の NVIDIA GPU とシステム RAM で動かすための更新が相次いでいます。OpenAI/Anthropic 互換 API を提供し MIT ライセンスの Strata は、v0.1.41 リリースを皮切�に、マルチGPU環境やWindows環境での高速化、そしてAMDやIntel製GPUの互換性修正が行われています。

今回の要点

  • VRAM非対称環境の修正： v0.1.41 で導入された自動GPU順序設定が、VRAMの少ないGPUに重い処理を割り当てる不具合を発見。v0.1.41.1 以降でこの順序を維持する修正が入りました。
  • 速度向上： マルチGPU環境での処理速度向上、Windows環境での短プロンプト処理速度向上、Pascal世代GPUのデコード速度低下修正が含まれます。
  • AMD GPU： RDNA4 (RX 9070) 向け最適化と、旧世代 Instinct MI50 向け互換性修正が行われました。
  • Intel GPU： Arc A770 向け SYCL ポートの互換性修正と、Arc Pro B70 でのレイヤースプリット不具合の修正が行われました。

v0.1.41 リリース：マルチGPU高速化、Windows短プロンプト高速化、多数のバグフィックス

Strata v0.1.41 がリリースされました。このバージョンでは、マルチGPU環境での処理速度向上、Windows環境での短プロンプト処理速度向上、そして多数の修正が含まれています。特に、Pascal世代のGPU (GTX 1080 等) におけるデコード速度低下の問題も修正されています。

何が変わったか

v0.1.41 では、デフォルト設定でマルチGPU環境での処理速度向上、Windows環境での短プロンプト処理速度向上が図られています。また、Pascal世代のGPU (GTX 1080 等) におけるデコード速度低下の問題も修正されています。

なぜ重要か

マルチGPU環境やWindows環境での処理速度向上は、Strata を使うユーザーにとって大きなメリットです。また、Pascal世代のGPUにおけるデコード速度低下の問題が修正されたことで、古いGPUを使っているユーザーも快適に Strata を使えるようになりました。

根拠のリンク

v0.1.40.4：Pascal GPU (GTX 1080等) のデコード速度低下を修正

v0.1.40.4 では、Pascal世代のGPU (GTX 1080 等) におけるデコード速度低下の問題が修正されました。この問題は、v0.1.40.2 以降で発生していました。

何が変わったか

v0.1.40.4 では、Pascal世代のGPU (GTX 1080 等) におけるデコード速度低下の問題が修正されました。この問題は、v0.1.40.2 以降で発生していました。

なぜ重要か

Pascal世代のGPUにおけるデコード速度低下の問題が修正されたことで、古いGPUを使っているユーザーも快適に Strata を使えるようになりました。

根拠のリンク

利用者の報告

jamesburton による報告では、Strata が Qwen3.8-Flash-Next (qwen4_exp) のパフォーマンスターゲットとして使われていることが示されています。この報告では、Strata が Strix Halo (Vulkan) で高速に動作することが期待されています。

Strata v0.1.41の自動カード順序設定がVRAM非対称環境で性能劣化を引き起こす不具合

v0.1.41 で導入された自動GPU順序設定が、VRAMの少ないGPUに重い処理を割り当てる不具合が発見されました。この問題は、VRAMの少ないGPUとVRAMの多いGPUを組み合わせているユーザーに影響を与えます。

何が変わったか

v0.1.41 では、自動GPU順序設定が導入されました。この設定は、VRAMの少ないGPUに重い処理を割り当てる問題を引き起こしていました。v0.1.41.1 以降では、この順序を維持する修正が入りました。

なぜ重要か

VRAM非対称環境での性能劣化の問題が修正されたことで、VRAMの少ないGPUとVRAMの多いGPUを組み合わせているユーザーも快適に Strata を使えるようになりました。

根拠のリンク

利用者の報告

sankerXD による報告では、v0.1.41 の自動カード順序設定が、VRAMの少ないGPUに重い処理を割り当てる問題を引き起こしていることが示されています。この報告では、4070 Ti 12 GB と 2080 Ti 22 GB の組み合わせで、v0.1.41 の自動カード順序設定を使うと、4070 Ti 12 GB が 31 レイヤー + head + verify を担当し、3.1 GiB の expert cache しか残らないことが報告されています。また、デコード速度が ~58 → ~44 tok/s に低下していることも報告されています。

nekomario28 による修正では、自動カード順序設定が、VRAMの少ないGPUに重い処理を割り当てる問題を修正しています。この修正では、自動カード順序設定が、VRAMの少ないGPUに重い処理を割り当てる場合、元の順序を維持するようになっています。

Intel Arc GPU (Alchemist/Battlemage) 向けSYCLポートの互換性修正とベンチマーク

Intel Arc GPU (Alchemist/Battlemage) 向け SYCL ポートの互換性修正が行われました。この修正は、Arc A770 や Arc Pro B70 での動作不具合を修正するものです。

何が変わったか

Intel Arc GPU (Alchemist/Battlemage) 向け SYCL ポートの互換性修正が行われました。この修正は、Arc A770 や Arc Pro B70 での動作不具合を修正するものです。

なぜ重要か

Intel Arc GPU (Alchemist/Battlemage) 向け SYCL ポートの互換性修正が行われたことで、Intel Arc GPU を使っているユーザーも快適に Strata を使えるようになりました。

根拠のリンク

利用者の報告

flare04 による報告では、Arc A770 16 GB on the `xe` driver での SYCL ポートの動作が報告されています。この報告では、decode 速度が 6.99–7.54 tok/s であることが報告されています。

Javalopes による報告では、Intel Arc A770 (Alchemist DG2) with the i915 driver での prefill 速度が ~47 tok/s であることが報告されています。また、decode 速度は ~13.5 tok/s であることも報告されています。

crobe201 による報告では、2x Arc Pro B70 での --layer-split の不具合が報告されています。この報告では、0.1.40.2 で --layer-split auto を使うと、3 つの異なる方法で失敗することが報告されています。

MaineTim による報告では、2x Intel Arc Pro B60 での 0.1.40.3 の動作が報告されています。この報告では、0.1.39-sycl は同じモデルを正常にロードして提供できるが、0.1.40.3 はモデルロード中に終了することが報告されています。

maxious による報告では、2x Arc Pro B60 (xe) での 0.1.40.3 の動作が報告されています。この報告では、device_free_bytes() の修正により、layer split: 100% of the experts resident、4072 MiB of VRAM free with everything loaded であることが報告されています。

janneedgren による報告では、2× Arc Pro B60 (xe) での 0.1.40.3 の動作が報告されています。この報告では、STRATA_SH_STREAM=0 を使うと、crash が止まり、decode 速度が ~1.7 tok/s であることが報告されています。

Niko1221 による報告では、0.1.41 で 2 つの修正が入ったことが報告されています。また、STRATA_SH_STREAM=0 を使うと、最初のリクエストが正常に動作するかどうかが確認されています。

AMD RDNA4 (RX 9070) と Instinct MI50 向け最適化と互換性修正

AMD RDNA4 (RX 9070) 向け最適化と、旧世代 GPU (Instinct MI50) 向け互換性修正が行われました。この修正は、RDNA4 向け int8-WMMA カーネルの追加と、旧世代 GPU の互換性修正、ベンチマークを含みます。

何が変わったか

AMD RDNA4 (RX 9070) 向け最適化と、旧世代 GPU (Instinct MI50) 向け互換性修正が行われました。この修正は、RDNA4 向け int8-WMMA カーネルの追加と、旧世代 GPU の互換性修正、ベンチマークを含みます。

なぜ重要か

AMD RDNA4 (RX 9070) 向け最適化と、旧世代 GPU (Instinct MI50) 向け互換性修正が行われたことで、AMD GPU を使っているユーザーも快適に Strata を使えるようになりました。

根拠のリンク

利用者の報告

mathcuei による報告では、AMD Instinct MI50 32 GB (gfx906) での Strata 0.1.40.1 の動作が報告されています。この報告では、decode 速度が 37-55 tok/s であることが報告されています。

Niko1221 による報告では、0.1.41 で gfx906 のビルド修正が入ったことが報告されています。

jkuepker による報告では、Radeon AI PRO R9700 (gfx1201) での int8-WMMA カーネルの動作が報告されています。この報告では、MMQ (default) に対して STRATA_PF_FUSED=1 を使うと、1.48x / 1.20x / 1.1x の速度向上があることが報告されています。

eldiaboloz による報告では、2x AMD Radeon RX 9070 (gfx1201) での IQ3_S の動作が報告されています。この報告では、IQ3_S at the model's native 262,144-token context での prefill 速度が 841.6 / 1,488.6 / 1,916.4 / 1,844.8 tok/s であることが報告されています。

出典

【宣伝】SwitchBot 購入はこちらから

SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。
製品ごとの特徴・紹介動画は SwitchBot 製品ガイド にまとめています。