Strata v0.1.37: Windows AMD環境でVRAM認識とPCIe速度測定を修正、サーバーのハング検知機能を搭載
今回の要点：
- Strata v0.1.37が公開され、Windows AMD環境での動作が大幅に改善された
- WindowsのVRAM割り当て（WDDM予算）を正しく認識し、システムRAMへの溢れを防止
- エンジンが応答しなくなった場合、サーバーが自動的に検知してリクエストを再開する仕組みを追加
- RTX 6800環境で31.4 tok/sから42.0 tok/sへ速度向上を確認
前提：StrataとWindows AMD対応の背景
StrataはNiko1221 (@coldniko) が開発する、Qwen3.8-Flash-Next (125B MoE) を8GB以上のNVIDIA GPUとシステムRAMで動かすローカル推論エンジン。OpenAI/Anthropic 互換API、MITライセンス。Windows AMD環境では、ROCmライブラリとWindowsドライバーの競合により、初期のビルドでクラッシュや速度低下が発生していた。
Windows AMD環境でのVRAM認識とPCIe測定修正
v0.1.37では、Windows AMDユーザーから報告された2つの主要な問題が修正された。1つは、Windowsのデスクトップ環境がGPU VRAMの一部を確保していることをエンジンが認識せず、キャッシュがシステムRAMに溢れて速度低下を招く問題。もう1つは、PCIeバス速度測定が誤った値を示す問題だ。
修正により、エンジンがWindowsのVRAM割り当て（WDDM予算）を正しく計算し、エキスパートキャッシュがVRAM内に収まるようになった。これにより、RX 6800 (gfx1030) の環境で、0.1.35のデフォルト設定（31.4 tok/s）から42.0 tok/sへ速度が向上したという報告がある。また、PCIeプロブもホスト側でタイミングを計測するようになり、それまで表示されていた不可能な値（22,093.5 GB/sなど）が修正された。
これらの修正は、BlueKingMuchによる実装とテストに基づいている。詳細は以下のIssueで確認できる。
サーバーの静かな停止検知機能
v0.1.37では、エンジンが応答しなくなった場合（フリーズ）に、サーバーが自動的に検知してリクエストを再開する機能が追加された。従来は、エンジンとサーバーがお互いを永久に待ち合わせる状態になることがあった。
新しい機能では、エンジンが `engine_silence_s` 秒（デフォルト300秒）応答しない場合、または停止コマンドに応答しない場合、サーバーはエラーを返して次のリクエストでエンジンを再起動する。これにより、ユーザーは手動でプロセスを再起動する必要がなくなる。
この機能の詳細は以下のリリースノートで確認できる。
利用者の報告
Windows AMD環境での実測報告
BlueKingMuch (@BlueKingMuch) は、RX 6800 (gfx1030) 環境でStrata v0.1.35とv0.1.37をテストし、以下の結果を報告している。
- v0.1.35のデフォルト設定（`--expert-cache auto`）: 31.4 tok/s
- v0.1.37（修正版）: 42.0 tok/s（v0.1.34の固定キャッシュ設定と同等の速度）
また、PCIeプロブの測定値も修正され、それまでの誤った値（22,093.5 GB/s）から、より現実的な値（18,970.7 GB/s）に改善された。この修正はv0.1.37で公式にリリースされている。
報告元: BlueKingMuch's report on #497
Windows AMD環境でのクラッシュ報告と修正
phntsm408 (@phntsm408) は、W7900環境でv0.1.34が最初のリクエストでクラッシュする問題を報告。原因は、WindowsのDLL検索順序でドライバーの `amdhip64_7.dll` がバンドルされたROCmライブラリより優先されたことだった。この問題は、v0.1.35でエンジンがバンドルされたHIPランタイムを優先するようになり、v0.1.37でさらに改善された。
報告元: phntsm408's report on #468
利用者の報告
- Windows AMD (RX 6800) 環境において、WDDM バジェット対応とホスト側 PCIe プロブ改善を含む v0.1.37 での動作を確認。投稿者: Niko1221
- Ubuntu 環境の RTX 4090 (24 GB) で Qwen3.8-Flash-Next (IQ2_XS) を実行し、ブラウザゲーム生成を試みたが、物理演算の質が低く結果を却下。投稿者: darkerow
- Modal 上の NVIDIA B300 (TP1) で Qwen3.8-Flash-Next NVFP4 のベンチマークを実施し、24 種の速度行と GSM8K 4 件分の評価結果を報告。投稿者: dhruvrnaik
- RTX 5070 (12 GB) での外部レポートを参照し、128K コンテキスト時の Q2_0 で 65 t/s などのデコード速度を確認。投稿者: toddballinger
kopug (@kopug) は、RX 7900 XTX (gfx1100) 環境で、少し長いプロンプトでエンジンがクラッシュする問題を報告。これは `hipErrorInvalidDeviceFunction` によるもので、v0.1.35以降の修正で解決している。
出典
SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。
製品ごとの特徴・紹介動画は SwitchBot 製品ガイド にまとめています。