山村商店

【Strata】Strata v0.2.2：AMD GPU互換性、複数GPU最適化、prefill高速化、GUI改善

StrataローカルLLMQwenGPULLM

目次
  1. 今回の要点
  2. Windows上でのAMD GPU互換性：HIPビルド、gfx1031/gfx1100/gfx1201対応、デュアルブート問題
  3. 複数GPU構成の最適化：レイヤースプリット、CUDA/HIPハイブリッド、VRAM共有
  4. エンジン性能と安定性：prefill最適化、conversation cache、セッションファイル、NaN不具合
  5. Strata v0.2.2リリース：Intel Arc向けGyro対応、Mac Metal改善、VRAM管理の一元化
  6. GUI/TUIの改善：トレイ常駐、電力監視、設定シリアライズ修正、自動更新制御
  7. 出典

StrataはNiko1221 (@coldniko) が開発する、Qwen3.8-Flash-Next (125B MoE) を 8GB 以上の NVIDIA GPU とシステム RAM で動かすローカル推論エンジン。OpenAI/Anthropic 互換 API、MIT ライセンス。

今回の要点

  • v0.2.2 で Intel Arc と Mac Metal のサポートが強化され、GPUごとの役割（Main/Helper/Off）設定が可能に
  • Windows 上の AMD GPU（HIP）互換性が拡大し、gfx1031/gfx1100/gfx1201 に対応
  • 複数GPU構成でのレイヤースプリットとVRAM共有が最適化され、CUDA/HIPハイブリッドビルドも改善
  • prefill最適化、conversation cache、セッションファイル、NaN不具合などエンジンの安定性と性能が改善
  • GUI/TUIの操作性向上、トレイ常駐、電力監視、設定シリアライズ修正、自動更新制御の改善

Windows上でのAMD GPU互換性：HIPビルド、gfx1031/gfx1100/gfx1201対応、デュアルブート問題

前提

StrataはAMD GPUをサポートするためにHIP（Heterogeneous-computing Interface for Portability）ビルドを提供しています。HIPはAMDのGPUアーキテクチャ（gfx1031、gfx1100、gfx1201など）に対応し、Windows環境での利用を可能にします。

何が変わったか

v0.2.2では、AMD GPUの互換性が大幅に拡大しました。特にgfx1031（RX 6000シリーズ）、gfx1100（RX 7000シリーズ）、gfx1201（RX 9000シリーズ）のサポートが強化されました。また、デュアルブート環境（Windows/Linux）でのリポジトリ共有時の不具合も報告されています。

なぜ重要か

WindowsユーザーがAMD GPU（特にRX 6000/7000シリーズ）をStrataで利用できるようになり、VRAM共有やレイヤースプリットが改善されました。デュアルブート環境での互換性問題も認識されています。

根拠のリンク

利用者の報告

  • Linux (CUDA 13.2) 環境で RTX 3090 2枚構成、Strata 0.1.45にてベンチマークを実施。 Gallium70
  • Windows 11 環境で RTX 3090 2枚構成、Strata 0.1.44にてベンチマークを実施。 hobiseven
  • Linux (CUDA 13.3/13.4) 環境で RTX 5060 Ti 2枚構成、Strata 0.1.45にてベンチマークを実施。 cafec0ffee
  • HP Z4 G4 (ROCm 7.2.4) 環境で R9700とRTX 5060 Tiを比較、Strata 0.1.45にてベンチマークを実施。 AloeKing

利用者の報告

drtobiasarnold-tech は、2x Radeon RX 6700 XT 12 GB (gfx1031) の環境で、Qwen IQ2_XS モデルを43 tok/sのデコード速度で動作させたと報告しています。VRAM使用量は11.5 + 11.8 GB、システムRAMは53/61 GBで、6つのリクエストでクラッシュやハングなし。ドイツ語の医療文書生成において、他のローカルモデルと比較して最も正確だったと評価しています。

一方、RenZekta は、WindowsとLinuxのデュアルブート環境で、リポジトリフォルダを共有すると、OSを切り替えた際に内部のPython仮想環境が壊れる問題を報告しています。Windowsで設定された`.venv`ディレクトリがLinuxで認識されず、`ModuleNotFoundError: No module named 'jinja2'`が発生します。

calvinjin-king は、Windows + gfx1031環境で、セッション中に53Kトークンの過剰なコンテキストリクエストを拒否された後、次の16,685トークンのプロンプト読み込み中に`strata.exe`が静かに終了する問題を報告しています。エラー出力はなく、プロセスは消失しています。

不明 は、Windows + RX 7900 XTX (gfx1100) で、0.1.45.3/0.1.46.1エンジンが起動時に"verify: stream create failed"で失敗し、0.1.43.1では正常に動作することを報告しています。

複数GPU構成の最適化：レイヤースプリット、CUDA/HIPハイブリッド、VRAM共有

前提

Strataは複数GPUでのレイヤースプリットをサポートし、VRAM共有を最適化しています。CUDAとHIPのハイブリッドビルドも可能で、異なるGPUアーキテクチャを混在させることができます。

何が変わったか

v0.2.2では、複数GPUでのレイヤースプリットとVRAM共有が最適化されました。特に、CUDA/HIPハイブリッドビルドでのexpert行の読み込みが改善され、PCIe経由の不要なコピーが削減されました。また、4x RTX 4090環境でのTTFT（Time To First Token）回帰も報告されています。

なぜ重要か

複数GPUユーザーは、VRAM共有とレイヤースプリットをより効率的に利用できるようになり、パフォーマンスが向上しました。ただし、新しいバージョンでのTTFT回帰には注意が必要です。

根拠のリンク

利用者の報告

visualpha は、Quadro P5000 16 GB (sm_61) の環境で、Qwen3.6-35B-A3B-UD-Q4_K_XLモデルを使用時、expertキャッシュがVRAMに73/256固定され、18.75 GiBがページャブルホストメモリに配置され、6.98 GiBのVRAMが未使用のままになる問題を報告しています。

oscarlius は、4x RTX 4090環境で、v0.2.1.4へのアップグレード後、128KキャッシュヒットTTFTが0.933秒から1.619秒に増加（+73.6%）し、16クライアントの総スループットが256.07から208.17 token/sに低下したと報告しています。デコード速度は199.8から238.3 token/sに改善されています。

sinfree は、デュアルGPU環境で、1つのカードが90%の利用率に達する一方、もう1つが20-30%しか稼働していないと報告し、両GPUのワークロード効率を改善する方法を尋ねています。A511-git は、tensor splitを実装すれば両GPUが90%利用率になり、PCIeピアアクセスで最小1.5倍のprefill/decode増加が期待できると回答しています。

エンジン性能と安定性：prefill最適化、conversation cache、セッションファイル、NaN不具合

前提

Strataエンジンは、prefill最適化、conversation cache、セッションファイル、NaN不具合などの安定性と性能改善が行われています。特に、長文コンテキストでの処理速度と、セッションの永続化が重要視されています。

何が変わったか

v0.2.2では、prefill最適化により、キャッシュヒット時のprefill時間が約20秒から約10秒に短縮され、正確なリプレイでは約20秒から0.2秒に改善されました。また、conversation cacheの読み込みゲートが追加され、セッションファイルのlayer-splitサポートが報告されています。IQ3_S quantizationでのNaN不具合も報告されています。

なぜ重要か

prefillの高速化により、長文コンテキストでの応答速度が向上し、conversation cacheの改善により、会話の継続性が向上しました。セッションファイルのlayer-splitサポートは、複数GPUユーザーにとって重要です。NaN不具合は、特定の設定での安定性に関わります。

根拠のリンク

利用者の報告

angellfear は、RTX 4070 SUPER 12 GB (sm_89) の環境で、IQ3_S quantizationを使用時、`--ple-io direct`で非有限logitsが発生し、`--ple-io mmap`では正常に動作することを報告しています。nanachi1212 は、RTX 5080 16 GB の環境で、Swift 1.5 IQ3_Sを使用時、すべての回答が`!!!!`（finish=length）になる問題を報告しています。

xunying7860 は、layer-split環境でセッションファイルが拒否され（501）、再起動時に会話を再読み込みする必要があると報告しています。329,625トークンの会話をセッションファイルから復元するには18.6秒かかるのに対し、再読み込みではそれ以上の時間がかかることを示しています。

Strata v0.2.2リリース：Intel Arc向けGyro対応、Mac Metal改善、VRAM管理の一元化

前提

Strata v0.2.2は、Intel ArcとMac Metalのサポートを強化し、VRAM管理を改善した新バージョンです。GPUごとの役割（Main/Helper/Off）設定が可能になり、各カードの役割を柔軟に定義できます。

何が変わったか

v0.2.2では、Intel ArcカードとMacでのGyroサポートが追加され、NVIDIAカードでのGyro速度が向上しました。各GPUにMain、Helper、Offの役割を割り当て可能になり、8 GB以下のカードはデフォルトでOffになります。また、アプリとターミナルで1つのモデルフォルダを共有できるようになり、RX 6000シリーズ用のエンジンパッケージが提供されました。

なぜ重要か

Intel ArcとMacユーザーがStrataをより効率的に利用できるようになり、GPU役割の設定により、リソース配分が最適化されました。VRAM管理の一元化により、設定が簡素化されました。

根拠のリンク

GUI/TUIの改善：トレイ常駐、電力監視、設定シリアライズ修正、自動更新制御

前提

StrataのGUI/TUIは、トレイ常駐、電力監視、設定シリアライズ修正、自動更新制御などの操作性向上が行われています。特に、Windowsアプリのトレイ常駐とGPU電力監視が新機能として追加されました。

何が変わったか

v0.2.2では、Windowsアプリのトレイ常駐（opt-in）が追加され、閉じてもホストを維持できるようになりました。また、GPUエネルギーと電気料金の監視（opt-in）がPowerカードに追加されました。Terminalの高度な設定でのマルチバリュー引数のシリアライズ修正と、"off"フラグの処理が改善されました。

なぜ重要か

トレイ常駐により、バックグラウンドでの推論が容易になり、電力監視により、エネルギーコストの管理が可能になりました。設定シリアライズの修正により、ユーザーフレンドリーな設定管理が実現しました。

根拠のリンク

利用者の報告

PTSD-Creations は、Windows 11 + NVIDIA RTX 4070 12 GB環境で、Terminal 0.2.1の高度な設定でマルチバリュー引数がコンマ区切りの単一値としてシリアライズされ、"off"オプションがフラグのみを出力して削除されない問題を報告しています。これにより、エンジン起動時に誤ったエラーが発生します。

出典

【宣伝】SwitchBot 購入はこちらから

SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。