Strata v0.1.32：マルチGPU高速化とAMD対応、AVX-512非対応CPUでのクラッシュ不具合

Strataは、Niko1221 (@coldniko) が開発する、Qwen3.8-Flash-Next (125B MoE) を 8GB 以上の NVIDIA GPU とシステム RAM で動かすローカル推論エンジン。OpenAI/Anthropic 互換 API、MIT ライセンス。

今回の要点

• v0.1.32 リリース：マルチGPUでの短プロンプト処理速度が最大 28% 向上、AMD GPU 推論が 12% 高速化。
• Unsloth 形式の Q4 モデルを 64GB RAM 環境で実験的に実行可能に。
• v0.1.32 の Vision エンコーダーが AVX-512 非対応 CPU でクラッシュする不具合を確認。
• Windows 環境での AMD GPU 利用環境が強化（ビルド・VRAM 計測・PCIe 計測）。
• 低 RAM 環境でのレイヤースプリット利用や、VRAM 認識の保守的制限に関する報告あり。

Strata v0.1.32 リリース：マルチGPU短プロンプト高速化、AMD推論向上、Unsloth Q4対応

何が変わったか

v0.1.32 では、マルチ GPU 環境における短プロンプトの処理速度改善、AMD GPU 推論の高速化、Unsloth 形式 Q4 モデルのサポートが主要な変更点です。

マルチ GPU 環境では、v0.1.30 から導入されたレイヤースプリット構成で、各 GPU がプロンプトパス用に専門家のキャッシュを借用し、リクエストごとに順番に再読み込みする仕組みが、短プロンプトで最大 35% の速度低下を招いていました。v0.1.32 では全 GPU で同時に再読み込みし、スプリット構成ではより小さなリングバッファを使用、空き VRAM を持つ GPU は独自のプロンプトバッファを保持するようになりました。これにより、RTX A5000 2 枚構成で短プロンプトの速度低下は解消され、R9700 + RX 9070 XT 構成では 2K プロンプトで 993 tok/s から 1,270 tok/s、16K プロンプトで 1,852 tok/s から 1,980 tok/s へ速度が向上しました。さらに、環境変数 STRATA_SPLIT_OWN=1 を有効にすると各 GPU が独立したバッファを持つようになり、2K で 1,470 tok/s、16K で 2,230 tok/s を記録しています。

AMD GPU 環境では、RDNA アーキテクチャ向けにルーティング処理が再実装され、R9700 でデコード速度が 62 tok/s から 70 tok/s (+12%)、RX 9070 XT で 4% 向上しました。また、RX 9070 / R9700 向けに環境変数 STRATA_HIP_WMMA=1 を有効にすると、RDNA4 の行列コアを用いてプロンプト処理が高速化され、R9700 で 4K/16K プロンプト時に 36-51% の速度向上が確認されています。

さらに、Unsloth 形式の Q4 モデル（UD-Q4_K_XL）を、モデルファイルのサイズが RAM を超える環境でも実験的に実行可能になりました。専門家のデータは VRAM、RAM（--resident-budget-gib N で指定）、SSD（ファイルキャッシュ）の 3 段階で管理され、RTX 5070 12 GB + 64 GB RAM 環境で約 7-8.5 tok/s の推論速度が記録されています。

なぜ重要か

マルチ GPU 構成で短プロンプトを頻繁に使用するユーザーは、v0.1.31 まで速度低下に悩まされていましたが、v0.1.32 で解消されました。AMD GPU ユーザーも推論速度の向上と、Windows 環境でのビルド・VRAM 計測の改善により、より安定した運用が可能になります。また、Unsloth 形式 Q4 モデルのサポートにより、RAM 容量がモデルサイズに満たない環境でも、SSD キャッシュを活用することで推論が可能になりました。

根拠のリンク

Strata v0.1.32

Strata v0.1.31 リリース：Unsloth UD-Q4_K_XL実験的対応、AMD推論高速化、Windows読み込み高速化

何が変わったか

v0.1.31 は、Unsloth 形式 Q4 モデルの実験的サポート、AMD GPU 推論の最大 15% 高速化、Windows 環境でのモデル読み込み速度向上が含まれます。AMD GPU 向けには、RDNA 非対応の旧ルーティングを環境変数 STRATA_HIP_ROUTER_OLD=1 で復元可能になりました。

なぜ重要か

Unsloth 形式 Q4 モデルのサポートにより、RAM 容量がモデルサイズに満たない環境でも、SSD キャッシュを活用することで推論が可能になりました。AMD GPU ユーザーは推論速度の向上により、より高速なローカル推論環境を構築できます。

根拠のリンク

Strata v0.1.31

StrataのWindows環境におけるHIP/ROCmサポートの強化とVDW問題

何が変わったか

Windows 環境での AMD GPU 利用環境が強化されました。ROCm 10 または HIP SDK を使用して Windows 上で HIP エンジンのビルドが可能になりました。また、Windows 固有の問題として、WDDM による VRAM 計測の修正、PCIe 転送速度の計測改善が行われました。これにより、Windows 環境での AMD GPU 利用における VRAM 認識と転送速度計測が正確になりました。

なぜ重要か

Windows ユーザーが AMD GPU を Strata で利用する際の環境構築が容易になり、VRAM 認識と転送速度計測の正確性により、より安定した運用が可能になります。

根拠のリンク

#356 HIP: build the AMD engine on Windows

#373 HIP: build with Visual Studio 2026's C++ library (MSVC 14.51+)

#380 HIP: count the desktop's VRAM on Windows (WDDM budget, STRATA_WDDM_BUDGET)

#377 HIP: time the PCIe probe on the host on Windows

Strata v0.1.32のVisionエンコーダーがAVX-512非対応CPUでクラッシュ

何が変わったか

v0.1.32 の prebuilt 版 strata-vision.exe が、AVX-512 非対応の CPU で起動時に 0xC000001D (STATUS_ILLEGAL_INSTRUCTION) エラーでクラッシュする不具合が確認されました。デバッガ解析により、起動時に CPUID による実行時ディスパッチなしで AVX-512 命令 (vmovups zmm0) が実行されていることが原因です。メインエンジン (strata.exe) は正常に AVX-2 へフォールバックしますが、Vision エンコーダーのみがクラッシュします。v0.1.27 の strata-vision.exe は同じマシンで正常に動作しています。

なぜ重要か

Intel 12th-14th gen コンシューマー CPU (AVX-512 無効化) や AMD Zen 4 などの大規模なユーザーベースに影響します。Vision 機能を使用するユーザーは、AVX-512 非対応 CPU では v0.1.32 の prebuilt 版を使用できません。

根拠のリンク

#419 strata-vision.exe v0.1.32 prebuilt crashes (0xC000001D) on CPUs without AVX-512

#411 0.1.32 ready-made strata-vision.exe crashes with illegal instruction (0xC000001D) on a non-AVX-512 CPU (i9-9900KF)

利用者の報告 (原文抜粋)

• RTX 4090 coding test: Qwen3.8-Flash-Next IQ2_XS — performance and game-generation results Hi! Thanks for making Strata a… — darkerow
• [Cookbook Benchmark] Qwen3.8-Flash-Next NVFP4 on B300 (TP1) Qwen3.8-Flash-Next NVFP4 benchmarks on 1× B300 (TP1): **24 s… — dhruvrnaik
• fix(cache): Phase 1 GPU expert correctness and upstream serving fixes ## English Parent: xenodeve/Qwen3.8-Flash-Next-Tun… — xenodeve
• Benchmark Qwen3.8-Flash-Next as a GX10 coding worker against Q5 ## Goal Test whether Qwen3.8-Flash-Next can improve acce… — starodubtsevconsulting

利用者の報告

lxfebd は、Windows 11、i7-13700KF (AVX2/FMA のみ、AVX-512 なし)、RTX 5090D 24 GB 環境で、公式 prebuilt v0.1.32 を使用した際、strata-vision.exe が 0xC000001D エラーでクラッシュするのを確認しています。メインエンジン (strata.exe) は正常に動作し、AVX-2 へフォールバックしています。

Efs-O は、Intel i9-9900KF (Coffee Lake: AVX2、AVX-512 なし)、2x RTX 5060 Ti 16 GB、RTX 3060 12 GB 環境で、v0.1.32 の strata-vision.exe が起動時に 0xC000001D で終了し、serve/server.py が RuntimeError: the vision encoder did not start: で停止するのを確認しています。v0.1.30 の strata-vision.exe は同じマシンで正常に動作しています。

Strataのレイヤースプリット設定におけるメモリ競合とVRAM認識問題の報告

何が変わったか

レイヤースプリット設定での低 RAM 環境での動作、VRAM 認識問題、Vision エンコーダーのロードエラーなど、マルチ GPU 環境での課題が報告されました。特に、低 RAM 環境でのレイヤースプリット利用や、VRAM 認識の保守的制限に関する報告があります。

なぜ重要か

低 RAM 環境やマルチ GPU 構成のユーザーは、レイヤースプリット利用時のメモリ競合や VRAM 認識の問題により、推論速度や安定性に影響を受ける可能性があります。

根拠のリンク

#384 Layer split with the low-RAM resident mode: 2-GPU numbers on 16+16 GB / 47 GB RAM (IQ3_XXS and Q2_0)

#364 Low memory 32 Gb RAM and 2 x 3090 24Gb working with workaround (0.1.31)

#406 128K hard limit on 64GB RAM, 32GB VRAM is too conservative

#412 V0.1.32 Vision Encoder load error (Okay in v0.1.31)

利用者の報告

Gpanazio は、2x RTX 5060 Ti 16 GB、i9-12900KF (AVX2、AVX-512 なし)、47 GB RAM、Ubuntu、Strata 0.1.30 環境で、レイヤースプリット設定でのベンチマークを報告しています。低 RAM 環境でのレイヤースプリット利用時、CPU パワー制限 (45 W) によりデコード速度が 30-37 t/s に低下する一方、制限なしでは 39-50 t/s を記録しています。

開発者 Niko1221 は、次期リリースで低 RAM PC での 2-GPU レイヤースプリットをセットアップで提供し、--resident-experts とレイヤースプリットの併用に関する警告を追加すると回答しています。

davidmoller-rldatix は、32 GB RAM、2x RTX 3090 24 GB 環境で、設定ファイルを編集して --max-context を 262144、gpu を [0,1]、layer_split を auto に設定し、両 GPU を使用して 95-100 t/s の推論速度を達成しています。

khalidejaz は、64 GB RAM、32 GB VRAM 環境で、セットアップが 256K コンテキストを 128K に制限するのを確認し、手動で 256K に設定すると正常に動作し、トークン生成速度が約 2.5 倍、prefill が 6 倍以上向上したと報告しています。

ユーザー は、Win 11、64 GB RAM、AMD 5950x、RTX 5090 環境で、v0.1.32 の Vision エンコーダーロードエラー (RuntimeError: the vision encoder did not start:) を報告しています。v0.1.31 では正常に動作していました。