Strata v0.1.41 リリース：マルチGPUパイプラインの高速化とTCP遠隔レイヤ分割の新機能

Niko1221 氏によるローカル推論エンジン「Strata」の最新メジャーアップデート、v0.1.41 が公開されました。Qwen3.8-Flash-Next (125B MoE) を 8GB 以上の NVIDIA GPU で動かす本エンジンでは、今回のアップデートでマルチGPU環境におけるパイプライン処理の大幅な高速化、Windows 環境でのメモリ管理改善、そして「別PCのGPUをTCPで繋いで推論に使う」という新機能が実装されています。

今回の要点

• パイプライン処理の高速化： 3枚以上のGPUでレイヤ分割する際、`--pipeline-windows` オプションにより最大 28.8% の推論速度向上を確認。
• TCP遠隔レイヤ分割： 別PCのGPUをTCP接続で繋ぎ、ローカルPCのVRAMを節約しながら大規模モデルを動作させる新機能を実装。
• Windows環境の安定化： VRAM枯渇防止やページファイル設定、CPUメモリ割り当て失敗時のフォールバック処理が改善。
• AMD GPU (HIP) の互換性向上： Strix Halo (gfx1151) や MI50 (gfx906) における動作不具合の修正とベンチマーク報告。

v0.1.41 リリースと主要な改善点

Strata v0.1.41 では、ビルド時の最適化チェックやプリフェッチ処理の改善が含まれています。特に、CUDA カーネルがレジスタ溢れ（spills）を起こさないようビルド時に検査する仕組みが導入され、コンパイラの出力結果に基づく不具合（例：CUDA 13.3 / sm_120 環境での FMA 演算子の欠落）を未然に防ぐようになりました[1]。

また、SM86（RTX 30 シリーズ等）向けに、IQ3/IQ4 量子化モデルのプリフェル処理を最適化するビルドオプションが追加されています。これにより、特定のアーキテクチャでより効率的なメモリアクセスが可能になります[2][3]。

利用者の報告

Avicennasis 氏は、レジスタ溢れ検査の導入について、ビルド時のテスト失敗により「ソースコードには現れないが、ツールキットやアーキテクチャによって変化するデコードスループットの低下」を防ぐ効果があると報告しています[4]。

レイヤ分割におけるcuBLASエラーとパイプライン同期の修正

今回のアップデートで最も注目すべきは、マルチGPU環境におけるパイプライン処理の安定化と高速化です。従来、3枚以上のGPUでレイヤ分割する際、パイプライン処理が有効化されていませんでした。v0.1.41 ではこの制限が解消され、`--pipeline-windows` オプションを有効にすることで、GPU間のデータ転送を効率的に処理できるようになりました[5]。

さらに、Windows 環境で RTX 3090 と Tesla P40 を組み合わせて使用する場合、プロンプトが一定の長さを超えると「cuBLAS status 14」エラーでエンジンが強制終了する不具合が報告されていました。これは、CPU側のプリフェル共有メモリ割り当て失敗が原因でしたが、v0.1.41 ではこの失敗時に GPU のみのパスにフォールバックするよう修正されました[6][7]。

利用者の報告

vgame86 氏は、RTX 3090 + 2x Tesla P40 の環境で、プロンプトが 64 トークンを超えると「prefill gemm: cublasGemmEx: cuBLAS status 14」エラーが発生し、エンジンが再起動する現象を報告しています。単一GPUでは再現しないため、マルチGPU間の同期に起因する問題と特定されています[8]。

また、thedrzinger 氏は 5 枚の Tesla P100 (sm_60) を使用した環境で、`STRATA_STAGE_TRIM=1` を有効化することで、専門家キャッシュの効率が 98.0% から 99.9% に向上し、推論速度の改善を確認しています[9]。

WindowsにおけるVRAM管理とページファイル警告の改善

Windows 環境では、VRAM の枯渇防止とページファイルの設定に関する改善が行われています。特に、SYCL エンジン（AMD GPU 向け）において、PCIe バンド幅の測定が正しく行われず、`pcie_frac` の値が過小評価される不具合が修正されました。これにより、Arc Pro B70 等のカードでも適切なパフォーマンスが期待できるようになります[10][11]。

さらに、パイプライン処理における「トークン等価性」の保持が修正され、3枚の Tesla P40 を使用した環境で 23.0 tok/s から 28.6 tok/s への速度向上が確認されています[12]。

利用者の報告

sam-fakhreddine 氏は、Arc Pro B70 (gfx906) 環境で、SYCL エンジンの PCIe プローブがページ可能メモリを使用していたため、実測値の約 4 分の 1 の速度（7.7 GB/s）が報告されていたと指摘しています。修正後は 35.6 GB/s を記録し、`pcie_frac` もデフォルト値の 0.55 を維持するようになりました[13]。

AMD GPU (gfx1151/gfx906) の互換性向上とベンチマーク

AMD GPU 向けには、Strix Halo (gfx1151) および MI50 (gfx906) における動作改善が行われています。Strix Halo では、Wide Top-K カーネルと VMM エントリポイントの修正により、レジスタカーネルの範囲を超えるコンテキストでも正常に動作するようになりました[14]。

MI50 (gfx906) では、ファイルティア読み込みのバッファリング処理と、エクスパートアリーナのロック処理が修正されました。これにより、60 GB の RAM を持つ環境でも、プロンプト読み込み時のアイドル時間が大幅に短縮されています[15]。

利用者の報告

KevinX8 氏は、MI50 16 GB (gfx906) 環境で、修正前のバージョンではプロンプト読み込み時に最大 45 秒間のアイドルが発生していたと報告しています。修正後は、ファイルティア読み込みのルールが変更され、KFD による GPU キューのサスペンドが回避されました[16]。

TCP経由の遠隔レイヤ分割とヘルパーGPUの活用

v0.1.41 で最も革新的な新機能は、TCP 経由による「遠隔レイヤ分割」です。これにより、ローカルPCとは別のPCに接続されたGPUを、ネットワーク経由で推論に利用できるようになりました[17]。

例えば、メインPCがレイヤ [0, K) を担当し、別PCが [K, 48) を担当するような構成が可能です。各プロセスは自身のレイヤに対応するエクスパートと重みだけをロードするため、メインPCのVRAMを節約しながら、大規模な MoE モデルを動作させることが可能になります。Linux と Windows の両方でサポートされており、Qwen3.8-Flash-Next での動作が確認されています[18]。

利用者の報告

aercanozcan 氏は、2 台の Strix Halo マシンを接続して、より高精度な量子化モデルを動作させる可能性について質問しています。既存のマルチGPU実装を基に、AI コーディングツールを用いて個人フォークで実装することは可能かという関心が高まっています[19]。

その他の注目ポイント

• Qwen3.8-Flash-Next 対応： dotLLM による Qwen3.8-Flash-Next (qwen4_exp) のサポートが追跡されており、Strata がパフォーマンスの目標として設定されています[20]。
• ループガードの改善： 24,000 桁以上の数字列を生成するループに対して、`reasoning_budget_tokens` による制限が効果的であることが確認されています[21]。
• Webアプリのファビコン追加： API Monitor ページにファビコンが追加され、ブラウザのタブ表示が改善されました[22]。

出典

• [1] #1758 [Feature]: fail the test build when a release-engine CUDA kernel spills registers or uses local memory (per sm_)
• [2] #1744 CUDA SM86: opt-in IQ3 two-stage prefill build
• [3] #1742 CUDA SM86: opt-in one-superblock prefetch build
• [4] Avicennasis: [Feature]: fail the test build when a release-engine CUDA kernel spills registers or uses local memory (per sm_)
• [5] #1656 pipeline-windows: three or more layer-split stages, +14% decode at 4K / +27% at 32K on 4x RX 7900 XT (opt-in); HIP draft-layer scratch race
• [6] #1757 Layer split (RTX 3090 + 2x Tesla P40, Windows): every batched prefill chunk aborts with `prefill gemm: cublasGemmEx: cuBLAS status 14` — 100% on 0.1.40.4 / 0.1.41, single-GPU unaffected
• [7] #1756 [Bug]: CPU prefill share: a failed cudaHostAlloc kills the engine instead of falling back to the GPU-only path (single GPU, Windows, 64 GB host)
• [8] vgame86: Layer split (RTX 3090 + 2x Tesla P40, Windows): every batched prefill chunk aborts with `prefill gemm: cublasGemmEx: cuBLAS status 14` — 100% on 0.1.40.4 / 0.1.41, single-GPU unaffected
• [9] #1639 Community benchmark: 5x Tesla P100 (sm_60), Flash-Next IQ3_S, 262K context — STRATA_STAGE_TRIM data + a Pascal Q6_K kernel
• [10] #1746 SYCL: the PCIe probe copies from pinned host memory, as the CUDA engine's does (#1745)
• [11] #1745 [Bug]: SYCL engine's PCIe probe times a pageable copy, so it reads the link ~4x low and lowers pcie_frac (Arc Pro B70)
• [12] #1674 fix: preserve pipeline token equality on 3x P4 (23 -> 28 tok/s)
• [13] sam-fakhreddine: [Bug]: SYCL engine's PCIe probe times a pageable copy, so it reads the link ~4x low and lowers pcie_frac (Arc Pro B70)
• [14] #1749 Two HIP fixes for Strix Halo (gfx1151): the wide top-k kernel and the VMM entry points
• [15] #1752 HIP: unbuffered file-tier reads and a locked expert arena (#1691)
• [16] KevinX8: HIP: unbuffered file-tier reads and a locked expert arena (#1691)
• [17] #1748 Remote stage: run the later layers of a layer split on other PCs, over TCP (opt-in; Linux and Windows; Qwen3.8-Flash-Next)
• [18] #1748 Remote stage: run the later layers of a layer split on other PCs, over TCP (opt-in; Linux and Windows; Qwen3.8-Flash-Next)
• [19] #1750 Multi-node support for dual Strix Halo setups?
• [20] jamesburton: Epic: Qwen3.8-Flash-Next (qwen4_exp) support, Strata as perf target
• [21] #1753 Loop guards miss a periodic loop written as one long word: a 24K-digit string cycling an 11-digit pattern passes both #606 and #728
• [22] #1754 serve/web: add a favicon to the web app and the API Monitor