山村商店

【Strata】Strata v0.2.4：RTX 40シリーズのDeepSeek対応、NVIDIA/AMD混在GPUの最適化、Windows AMDバグ修正

StrataローカルLLMQwenGPULLM

目次
  1. 今回の要点
  2. Strata v0.2.4 リリース：DeepSeek V4.1エンジン搭載とセットアップ修正
  3. RTX 40シリーズ（sm_89）でDeepSeekエンジンが利用可能に
  4. Windows上でのAMD GPU（HIP）互換性バグ修正とサポート拡大
  5. NVIDIAとAMDの混在GPU、およびレイヤースプリットの最適化
  6. Qwen3.5/3.6のハイブリッドモード：CPU側エクスパート配置の最適化
  7. 出典

Niko1221 (@coldniko) 開発のローカル推論エンジン「Strata」は、Qwen3.8-Flash-Next (125B MoE) を 8GB 以上の NVIDIA GPU とシステム RAM で動かすためのソフトウェアです。OpenAI/Anthropic 互換 API を提供し、MIT ライセンスで配布されています。今回の v0.2.4 更新では、DeepSeek V4.1 エンジンの搭載、RTX 40シリーズの対応、AMD GPU 環境の互換性修正などが行われています。

今回の要点

  • DeepSeek V4.1 エンジン搭載：v0.2.4 で DeepSeek 対応エンジン (0.1.49.2) がリリース。AMD Ryzen 3000 系 CPU で高速化。
  • RTX 40シリーズ (sm_89) の DeepSeek 対応：従来の RTX 30/50 シリーズに加え、Ada Lovelace アーキテクチャのサポートが追加。
  • Windows 上での AMD GPU (HIP) 互換性修正：Radeon RX 9000 系や WSL2 環境での起動失敗や認識不具合が修正される方向。
  • 異種 GPU 混在・レイヤースプリットの最適化：NVIDIA と AMD の混在、または異なる性能の GPU を組み合わせた際の性能向上策が議論・実装中。
  • Qwen3.5/3.6 のハイブリッドモード改善：VRAM 不足時の CPU 側エクスパート配置の最適化により、メモリ効率が向上。

Strata v0.2.4 リリース：DeepSeek V4.1エンジン搭載とセットアップ修正

Strata v0.2.4 がリリースされました。主な変更点は、DeepSeek V4.1 対応エンジンの搭載と、セットアップ関連のバグ修正です。

何が変わったか

DeepSeek エンジンはバージョン 0.1.49.2 となり、AMD Ryzen 3000 / Threadripper 3000 / EPYC 7002 シリーズの CPU において、回答速度が最大 3 倍高速化されました。また、モデルフォルダに Qwen 用の画像ファイルが含まれていると DeepSeek のセットアップが失敗していた問題や、Unsloth 製の UD-Q8_K_XL モデルファイルが認識されない問題が修正されています。さらに、複数の Strata インストール環境において、正しい DeepSeek エンジンが選択されるようになっています。

なぜ重要か

これにより、DeepSeek モデルをより安定して、かつ高速にローカルで実行できるようになります。特に、古い AMD CPU を搭載しているユーザーにとって、体感速度の向上が期待できます。

根拠のリンク

RTX 40シリーズ（sm_89）でDeepSeekエンジンが利用可能に

従来、DeepSeek エンジンは NVIDIA RTX 30 シリーズ (sm_86) および RTX 50 シリーズ (sm_120) 向けに最適化されていましたが、RTX 40 シリーズ (Ada Lovelace, sm_89) 向けのパッケージが提供されていませんでした。

何が変わったか

RTX 40 シリーズ (L4 や RTX 40 シリーズ PC 向け) 向けに `sm_89` のビルドアーキテクチャが追加されました。これにより、RTX 40 シリーズ搭載ユーザーも、事前ビルドされた DeepSeek エンジンパッケージをそのままダウンロードして実行できるようになります。また、RTX 4080 Laptop での測定に基づく `sm_89` 向けの行列演算テーブルが追加され、速度の最適化が行われています。

なぜ重要か

RTX 40 シリーズユーザーが、DeepSeek V4.1 モデルをローカルで直接実行できるようになります。これまでビルド環境を整備する必要がありましたが、今後は標準的なインストール手順で利用可能になります。

根拠のリンク

利用者の報告

waroy による報告

RTX 40 シリーズ (sm_89) において、従来の prebuilt パッケージでは `setup.py --family deepseek41` がステップ 4 で停止し、DeepSeek エンジンが利用できない状態でした。今回の修正により、`packaging/build_dsv41_cuda.sh` 等に `89-real` が追加され、リリースビルドに `sm_89` の機械語が含まれるようになりました。これにより、NVIDIA L4 や RTX 40 GPU ユーザーは、事前ビルドされたエンジンをそのまま利用できるようになります。waroy の報告

fulvius31 による報告

RTX 4080 Laptop (58 SMs, 12 GB VRAM) において、`sm_89` 向けの測定済み行列演算テーブルが適用されました。これにより、Q3_K 量子化の行が追加され、Q4_K / Q5_K / Q6_K における 2-3 カラムの設定で、従来の共有テーブルよりも高速化が確認されています。ただし、`STRATA_MMVQ_IL_WIDE` を有効にすると、ベンチマークでは有利なセルでも実際のデコードでは性能が低下するため、デフォルトでは登録されていないとのことです。fulvius31 の報告

Windows上でのAMD GPU（HIP）互換性バグ修正とサポート拡大

Windows 環境で AMD GPU (HIP) を使用する場合、CUDA エンジンの強制読み込みや、特定の GPU モデルでのエンジンパッケージ未検出などの問題が発生していました。

何が変わったか

Radeon RX 9000 系 (gfx1200/1201) や Radeon PRO W6800 などの AMD GPU において、Strata が誤って CUDA エンジンを試行する問題や、WSL2 環境で GPU が検出されない問題について、互換性バグ修正が行われています。特に、Windows 11 上で AMD GPU を搭載している場合でも、正しく HIP エンジンが選択されるようになっています。

なぜ重要か

Windows ユーザーが、AMD GPU を搭載している場合でも Strata をスムーズに起動・利用できるようになります。特に、Radeon RX 9000 系のような新しい GPU や、WSL2 環境での利用が容易になります。

根拠のリンク

利用者の報告

bob-u による報告

Windows 11 上で、NVIDIA カードから Radeon RX 9070 に交換した後、Strata が依然として CUDA エンジンの読み込みを試行し、起動に失敗する問題が発生していました。`%appdata%` 内のファイルを削除し、HIP 版の Strata を再インストールしても、設定画面で RX 9070 を選択しても CUDA エンジンが優先される状態でした。ログには「No Strata engine for this PC. This Strata is for AMD RX 9000 cards. Your PC has an NVIDIA card」と表示されていました。bob-u の報告

iNaD による報告

Windows 11 (Smart App Control 有効) + WSL2 Ubuntu 24.04 環境で、AMD Radeon RX 9060 XT (gfx1200) を使用する場合、`strata doctor` は `ok` と表示しますが、モデル起動時に `native embedding: cannot pin 322 MiB: no ROCm-capable device is detected` というエラーが発生していました。ROCm 7.2.0 と WSL runtime をインストールし、`AMD_LOG_LEVEL=3` でエンジンが独自の `libamdh` を読み込んでいることが確認されています。iNaD の報告

Huwmungous による報告

RTX 3090 Ti (24 GiB VRAM) + AMD Ryzen 9 7900X 環境で、Qwen3.8-Flash-Next (IQ3_S) を使用したベンチマークが報告されています。Strata 0.1.48 (engine 0.1.43.1) で測定されており、メモリ最適化付きの標準的な実行環境が確認されています。Huwmungous の報告

NVIDIAとAMDの混在GPU、およびレイヤースプリットの最適化

Strata では、複数の GPU を使用してモデルを分割実行する「レイヤースプリット」や「パイプラインウィンドウ」の機能が提供されています。今回、異種 GPU の混在や、異なる性能の GPU を組み合わせた際の最適化が進められています。

何が変わったか

「プリフィル」と「デコード」の処理を異なる GPU に割り当てる「Prefill / Decode Split」の提案が進んでいます。プリフィルは行列積を多く必要とし、デコードはメモリ帯域と VRAM 容量に依存するため、各 GPU の特性に合わせて処理を分散させることで、性能向上が期待できます。また、CUDA 環境でのレイヤースプリットにおいて、レイヤーマイナーなプリフィル処理により、32K プロンプトで 2.0 倍の速度向上が確認されています。

なぜ重要か

異なる性能の GPU (例：RTX 4060 Ti + RTX 3060) や、NVIDIA と AMD の混在環境でも、各 GPU の特性を活かした効率的な推論が可能になります。特に、VRAM が不足している場合や、古い GPU を再利用する場合に有効です。

根拠のリンク

利用者の報告

MarcoTool による報告

データセンターでの「Prefill / Decode Disaggregation」の考え方を、単一の PC に持ち込む提案がなされています。プリフィルとデコードを別々の GPU プールで実行し、KV キャッシュを高速インターコネクトで移動させる手法です。これにより、行列積に強い GPU と、メモリ帯域に強い GPU をそれぞれ最適なステージで活用でき、NVIDIA と AMD の混在環境でもモデルを共有して実行できるようになります。MarcoTool の報告

Norhiro による報告

RTX 3060 + RTX 5060 Ti の 2 GPU 構成で、ストリーミング UD-Q4_K_XL モデルを使用した場合、レイヤーマイナーなプリフィル処理により、32K プロンプトの TTFT が 65.0 秒から 33.1 秒 (1.96 倍) に高速化されました。また、ドライブ読み込み量も 75 GB から 35 GB に削減されています。品質は公式バージョンと同等です。Norhiro の報告

williswu による報告

RTX 4060 Ti 16 GB (stage 0) + RTX 3060 12 GB (stage 1) の 2 カードレイヤースプリット環境で、Strata 0.1.48 を使用した場合、デコード性能が 0.1.43 比で約 20% 低下する問題が報告されています。単一カードの性能は 15% 向上しているものの、スプリットパスで性能低下が発生しており、0.1.48 の起動時のみ表示される 2 つのログ行が原因と推測されています。williswu の報告

ExTV による報告

RTX 5090 + RTX 4070 Ti SUPER (PCIe x1 スロット, 0.8 GB/s) の 2 GPU 構成で、Qwen3.8-Flash-Next (IQ3_S) を 262K コンテキストで実行したベンチマークが報告されています。RTX 4070 Ti SUPER はレイヤースプリットの stage 1 として使用されており、5090 との組み合わせで 48 GiB VRAM を活用しています。ExTV の報告

Qwen3.5/3.6のハイブリッドモード：CPU側エクスパート配置の最適化

Qwen3.5/3.6 系モデルにおいて、VRAM 不足時にエクスパートの一部を CPU にオフロードする「ハイブリッドモード」が提供されています。今回の更新で、CPU 側のメモリ配置が最適化されました。

何が変わったか

ハイブリッドモードにおいて、CPU 側のバッファサイズが、実際に CPU に到達する行数に基づいて動的にサイズ変更されるようになりました。これにより、従来 128 MiB 確保されていたバッファが 8 MiB に削減され、その分がエクスパートスロットに割り当てられました。また、ハイブリッド配置では、低水位で 256 MiB の VRAM が free として保持されるようになり、エンジンが柔軟にメモリを拡張できるようになっています。

なぜ重要か

VRAM が不足している環境でも、より多くのエクスパートを VRAM に保持できるようになり、CPU と GPU 間のデータ転送が減少することで、推論速度の向上が期待できます。

根拠のリンク

利用者の報告

xyehya による報告

ハイブリッドモードにおいて、CPU 側のバッファが実際に到達する行数に基づいてサイズ変更され、`--prefill 2048` の設定で 128 MiB 確保されていた VRAM が 8 MiB に削減されました。これにより、その分の VRAM がエクスパートスロットに割り当てられ、メモリ効率が向上しています。また、ハイブリッド配置では低水位で 256 MiB の VRAM が free として保持され、エンジンが柔軟にメモリを拡張できるようになっています。xyehya の報告

出典

【宣伝】SwitchBot 購入はこちらから

SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。
製品ごとの特徴・紹介動画は SwitchBot 製品ガイド にまとめています。