山村商店

Strata 0.1.44.1: 複数GPU環境でのレイヤースプリット自動配置バグ修正とIntel Arc (SYCL) 向け新機能

StrataローカルLLMQwenGPULLM

目次
  1. 今回の要点
  2. 前提
  3. レイヤースプリット自動配置のバグ修正と性能劣化報告
  4. Intel Arc (SYCL) ポートの機能追加と安定性向上
  5. 続報：レイヤースプリット自動配置の改善
  6. 出典

今回の要点

  • Strata 0.1.44.1 の自動レイヤースプリット機能に、非対称なGPU構成（例：RTX 4090 + RTX 3090）で性能が最大4倍低下するバグがあったことが報告され、修正オプションが議論されている。
  • Intel Arc (SYCL) ポート向けに画像エンコーダー機能が追加され、Arc A770 等での画像認識タスクが可能になった。
  • Arc A770 向けに expert-cache のスロット数を大幅に増やす設定が自動適用され、デコード速度が約45%向上する改善が行われた。
  • Intel Arc Pro B60 等での安定動作に向けたパイプライン処理のバグ修正が行われている。

前提

Strata は、Niko1221 (@coldniko) によって開発されている Qwen3.8-Flash-Next (125B MoE) 用のローカル推論エンジンです。8GB 以上の NVIDIA GPU とシステム RAM を組み合わせて使用し、OpenAI/Anthropic 互換 API を提供します。複数の GPU を組み合わせる場合、モデルの層（レイヤ）をどの GPU に配置するかを自動で最適化する「レイヤースプリット」機能が利用されます。

レイヤースプリット自動配置のバグ修正と性能劣化報告

何が変わったか

Strata 0.1.44.1 において、複数の GPU を組み合わせた環境（特に帯域幅の異なる非対称な構成）で、自動レイヤースプリットが不適切な配置を選択するバグが報告されています。具体的には、RTX 4090 (PCIe x16) と RTX 3090 (PCIe x8) を組み合わせた環境で、0.1.43.1 では 0-31 層と 32-47 層に分割していたものが、0.1.44.1 では 0-44 層を 4090 に、45-47 層のみを 3090 に配置してしまい、デコード速度が約 25% 低下、長いプロンプトの処理速度が半分になるという報告があります[1]。このバグにより、最大で 4 倍の性能差が生じる可能性があります。

なぜ重要か

複数の GPU を所有し、VRAM を拡張して大規模モデルを動かしたいユーザーにとって、自動設定が逆効果になるのは深刻な問題です。特に、帯域幅の狭い GPU を追加することで性能が低下する「ボトルネック化」を防ぐためには、適切なレイヤ分割が必要です。

根拠のリンク

利用者の報告

この現象は Windows 環境だけでなく、Linux 環境でも再現しています。@alphastorm 氏は、Windows 11 環境（RTX 4090 + RTX 3090）でデコード速度が約 25% 低下したと報告し、環境変数 STRATA_SPLIT_LINK_ABS=1 を設定することで 0.1.43.1 時代の適切な分割（K=32）と性能が回復したと確認しています[1]。また、@Cheetah350 氏は Fedora Linux 環境（RTX 4090 + RTX 3090）でも同様の K=45 による性能劣化を確認し、同じく STRATA_SPLIT_LINK_ABS=1 で解決したと報告しています[2]。一方で、@enkynakamura 氏は RTX 5080 16GB 単体環境でのテストでは、STRATA_ROUTE_TAIL_SKIP の設定変更によりデコード速度が +6% 改善したという報告もあり、環境や設定によって影響が異なる可能性があります[3]。

Intel Arc (SYCL) ポートの機能追加と安定性向上

何が変わったか

Strata の Intel Arc 向け SYCL ポートに、画像エンコーダー機能が正式に追加されました。これにより、Arc A770 等での画像認識タスクが可能になります[4]。また、Arc A770 向けに expert-cache のスロット数を 1,906 から 4,540 に増やす設定が自動適用され、デコード速度が約 45% 向上する改善が行われました[5]。さらに、Arc Pro B70 等でのパイプライン処理におけるクラッシュバグが修正されています[6]。

なぜ重要か

NVIDIA GPU 以外の選択肢を持つユーザーにとって、画像認識機能の利用可能化は大きな価値があります。特に Arc A770 は比較的手頃な価格で大容量 VRAM を提供するため、expert-cache の最適化により実用的な速度で動作するようになります。

根拠のリンク

利用者の報告

Intel Arc Pro B60 を使用している @mbaaku 氏は、Strata v0.1.44.1 で Qwen3.8-Flash-Next Coder IQ1_M を動作させ、21 個のツールを併用した環境でテストを行っています。この環境では、パラメータの構文エラーが発生するケースが報告されていますが、これは B60 が公式にテストされていないデバイスであるため、バックエンド固有の問題である可能性があります[7]。また、@beyondcr 氏は Arc A770 上での画像エンコーダー機能の動作確認を行い、llama.cpp の SYCL バックエンドを介して CLIP グラフが正常に実行されることを確認しています[4]。

利用者の報告

  • Ubuntu 24.04.5 LTS、NVIDIA driver 580.178.04、RTX PRO 5000 Blackwell 72GB 環境で Strata engine 0.1.42 を使用し、Qwen3.8-Flash-Next IQ3_S モデルのフル expert residency とゼロ VRAM miss を確認したが、300W の電力制限によりデコード負荷時に SM クロックが低下し電力制約状態となった。 jiangpedro
  • Linux 7.2.8、AMD Radeon RX 6700 XT 12GB、Ryzen Threadripper 3970X 環境で Strata 0.1.43 を使用し、qwen3.8-flash-next-iq3_xxs モデルのベンチマークを実施したが、正誤チェックは行われず速度のみが計測された。 germane4oss
  • dotLLM において Strix Halo (Vulkan) 向けに Qwen3.8-Flash-Next (qwen4_exp) のサポートを検討しており、Strata をパフォーマンスターゲットとして IQ カーネルの実装範囲に含める方針が決定された。 jamesburton
  • NVIDIA GeForce RTX 3060 と RTX 4090 を複数搭載した PC で Strata v0.1.4.1 以降を使用時、マルチ GPU での expert 配置機能が正常に動作していない可能性があるバグが報告された。 SabinStargem

続報：レイヤースプリット自動配置の改善

前回の報告から、非対称な GPU 構成における自動レイヤースプリットの最適化が議論されています。0.1.41 以降、帯域幅の絶対値によるスケーリングが導入されたことで、x16+x4 等の非対称環境でバランスが崩れる問題が指摘されています[3]。開発者は、STRATA_SPLIT_UNIFORM=1 を設定することで、以前のバランスの取れた配置（0.1.41 以前の挙動）を復元するオプションを提供しています。これにより、帯域幅の差が大きい環境でも、適切なレイヤ分割が可能になります。

出典

【宣伝】SwitchBot 購入はこちらから

SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。
製品ごとの特徴・紹介動画は SwitchBot 製品ガイド にまとめています。