Strata v0.1.30：AMD RDNA4正式サポート、WindowsのVRAMストール修正、短プロンプト高速化

今回の要点

• Strata v0.1.30がリリースされ、AMD RDNA4 (gfx1201) が正式サポートされた
• Windows環境でVRAM残量が不足してデコードがストールする問題が修正され、デフォルトの予約メモリが700MiBから1500MiBに増えた
• 短プロンプト（1K〜4Kトークン）の処理速度が最大28%向上した
• Q8_0量子化やOrcaRouter Q4_K_Sサポートなど、量子化選択肢が拡大した
• マルチGPU構成において、第二GPUをExpert Cacheとして利用するopt-in機能が追加された

AMD RDNA4 (gfx1201) 正式サポートとRDNA3拡張

StrataはHIP（Heterogeneous-computing Interface for Portability）バックエンドを通じてAMD GPUをサポートしている。今回の更新では、RDNA4アーキテクチャ（gfx1201）の正式サポートに加え、RDNA3（gfx1101/1102）のサポート範囲が拡大された。

これにより、AMD Radeon RX 9070 / 9070 XT、Radeon AI PRO R9700（gfx1201）、およびRX 7900シリーズ（gfx1100/1101/1102）が公式にサポート対象となった。特にgfx1201では、wave32モードでの動作が最適化され、packed-byte intrinsic関数の高速化により推論速度が大幅に向上した。

この変更は、AMD GPUユーザーが最新のRDNA4ハードウェアでStrataを安定して利用できるようになる点で重要だ。従来はgfx1201での動作が確認されていなかったが、今回の修正によりCMakeのアーキテクチャチェックやintrinsics.hppの制約が緩和され、gfx1201でのビルドと実行が可能になった。

詳細: PR #247, PR #262, PR #256, PR #254

利用者の報告

• Ubuntu 24.04 LTS、ROCm 7.14.0、AMD Radeon AI PRO R9700 (gfx1201) 環境で、CMake等のアーキテクチャ制限を緩和することでビルド・実行に成功し、生成速度は44.7 tok/sを記録した。 l33tm4st3r
• gfx1201のアーキテクチャチェックとdp4a対応はv0.1.30で提供済みであり、Windows HIP固有のhipBLASエラー処理は別PRとして対応する方針である。 Niko1221

利用者の報告

@doplxyz は、Ubuntu 24.04 LTS（Linux 6.8.0、KVM/VFIOゲスト）上、ROCm 7.14.0、AMD Radeon AI PRO R9700（32GB VRAM、gfx1201）の環境でStrataのビルドと検証に成功したと報告している。Qwen3.8-Flash-Next-Coder（IQ1_M）+ MTP draft runtime（Q2_0）を使用し、128kコンテキスト設定で以下の結果を得た。

• VRAM: 31.9 GB（expert cacheを含む）
• Host RAM: 約27 GB
• Prompt evaluation: 62.7 tok/s
• Generation speed: 44.7 tok/s
• MTP Speculative Decoding: 12/14 draft tokens accepted（85.7% 受容率）

また、@ttio2tech は、gfx1201におけるpacked-byte intrinsic関数の最適化により、Q2_0デコード速度が58 tok/sから104 tok/sに向上したと報告している。IQ4_XS attn_qkvの処理時間が229 usから34 us、Q2_0 attn_qが95 usから23 usに短縮された。

@jagsan-cyber は、Windows 11、AMD Radeon RX 9070（gfx1201、16 GB）、ROCm 10.0.0の環境でUnsloth Qwen3.8-Flash-Next UD-Q3_K_XLを動作させ、Greedy short promptsで「2」「7」「東京」といった一貫した回答が得られたと報告している。

Windows環境でのVRAM残量不足によるストール修正

Windows環境では、GPUが通常デスクトップの表示も担当するため、VRAMの残量が不足するとWDDM（Windows Display Driver Model）によってGPUがストールし、デコード速度が不安定になる問題があった。従来のデフォルト設定では `--vram-reserve-mib 700`（700 MiB）が予約されていたが、expert cacheの書き込み後には約470〜570 MiBしか残らず、デスクトップのプログラムがその分以上のVRAMを要求するとストールが発生していた。

この問題の修正により、Windows環境でのデフォルト `--vram-reserve-mib` は1500 MiBに引き上げられた（Linux等では従来通り700 MiB）。また、visionモードのreserve設定もWindowsでは低下しなくなった。

この変更は、WindowsユーザーがVRAM容量に余裕のある環境でStrataを安定して利用できるようになる点で重要だ。特に16 GBクラスのGPUでは、0.1.27以降のCJK draftサブセットの拡大によりVRAM消費が増加し、ストールしやすくなっていた。

詳細: PR #279, Issue #199, v0.1.28

利用者の報告

@demon851113 は、RTX 5070 Ti 16 GB（sm_120）、Linux、IQ3_XXS native packの環境で、0.1.27のCJK draftサブセットが0.1.24より約180 MiB多くのVRAMを使用し、ロード後に残るVRAMが156 MiB（エンジンの閾値256 MiB未満）になることを報告した。これによりリクエストがストールする可能性があった。

@sergqwer は、RTX 5090 32 GB、Windows 11の環境で、reserve 700 MiB時のデコード速度が112, 82, 77, 78 tok/sとばらつき、verify window waitが14.6〜22.0 ms/roundだったのに対し、1500 MiBに設定すると139, 139, 132, 132 tok/sと安定し、verify window waitが1.4〜2.2 ms/roundに改善したと報告している。

@jazir555 は、CJK draftサブセットの拡大が英語ユーザーのパフォーマンス回帰になるとして、英語/コード専用サブセットをオプションで選択可能にするよう提案している。

Strata v0.1.30 リリース：短プロンプト高速化、AMD RDNA4対応、GPU共有機能

Strata v0.1.30がリリースされた。主な新機能として、短プロンプト（1K〜4Kトークン）の処理速度が最大28%向上した（出力は同一）。また、マルチGPU構成の改善、AMD RDNA4対応、GPUを共有するサーバー機能の追加が含まれる。

短プロンプトの高速化は、ストリームからのexpert読み取りチャンクサイズを2,048トークンから1,024トークンに小さくしたことに起因する。これにより、RTX 5070で17〜28%のprompt速度向上が確認された（出力は同一）。`STRATA_PREFILL_STREAM_MIN` でこの閾値を上書き可能。

詳細: v0.1.30

マルチGPU構成における第二GPUのExpert Cache利用機能

StrataはマルチGPU構成において、第二GPUをExpert Cacheとして利用するopt-in機能を追加した。これは `--vram-experts`（`--mmap-experts` が必要）や `--peer-device N` によって有効化される。

この機能により、RAMがexpert set全体をキャッシュできない環境でも、第二GPUのVRAMにexpertを保持し、CPUに約19倍高速に提供できる（0.334 ms vs 6.31 ms per expert）。また、レイヤ分割（`--gpus`）においても、各カードが自身の層のセッション状態のみを保持し、プロンプトパスのバッファを貸し出すことで、メモリ効率が改善された。

この変更は、複数GPUを持つユーザーが、VRAMを効率的に活用して推論性能を向上させられる点で重要だ。特にNVLink接続やPCIe P2P対応環境で効果的。

詳細: PR #237, PR #229, Issue #204, PR #223, PR #216

利用者の報告

@q8atnight は、2x RTX 3090 24 GB（NVLink）、Ryzen 9 3950X、121 GB RAM、Linuxの環境で、peer tier（SUPER FAST 2）を使用した場合、prefill 32Kで2,761 tok/s、decode greedy 1Kで125 tok/sを記録した。一方、layer split（`--gpus`）ではprefill 32Kで842 tok/s、decode greedy 1Kで97 tok/sだった。

@Adamyno は、2x RTX 2080 Ti 22 GB（PCIe P2P、NVLinkなし）の環境で、layer split（auto）ではwarm decodeが4.68/4.85 s（-8〜11%）、split + 256-expert peerでは4.50/4.68 sを記録した。ただし、22 GBカードではbuffer headroomがないとauto peerが起動しないという制限がある。

@lukmanfauzie は、RAMが31.6 GiBのexpert setをキャッシュできない環境で、SSDからの再読み取り（27.4 GiB、22,266トークンのプロンプトで214.7秒）に対し、第二GPUのVRAMを使用することで0.334 ms per expert（6.31 ms vs）で提供できると報告している。

Q8_0量子化とOrcaRouter Q4_K_Sサポートの追加

Strata v0.1.30では、Q8_0量子化とOrcaRouter Q4_K_Sサポートが追加された。Q8_0は、Qwen3.8-Flash-Nextのexpert、embedding、PLEテンソルがQ8_0形式で提供される場合に対応する。OrcaRouter Q4_K_Sは、Q4_K、Q5_0、Q5_1のGGML MMQインスタンスを追加し、`STRATA_ORCA_Q4KS_MMQ` オプションを有効化することで使用可能になる。

これにより、ユーザーはより細かな量子化レベルを選択でき、VRAM使用量と精度のバランスを最適化できる。

詳細: PR #296, PR #255

出典

• Strata v0.1.30
• Strata v0.1.28
• PR #247: HIP: Windows and gfx1201 (RX 9070)
• PR #262: HIP: gfx1201 (Radeon AI PRO R9700) support, faster packed byte intrinsics, and a gfx1201 hipBLASLt table
• PR #256: HIP: support RDNA4 gfx1200 (RX 9060 XT)
• PR #254: AMD HIP: accept gfx1101 alongside gfx1100
• PR #279: Windows: leave 1500 MiB of VRAM unused by default (decode stalled with 700)
• Issue #199: 0.1.27 on 16 GB + vision: the CJK draft leaves 156 MiB VRAM free
• Issue #178: Benchmark & build report: AMD RDNA4 (gfx1201 / Radeon AI PRO R9700 32GB) on ROCm 7.14
• PR #237: Use a second GPU's VRAM as an opt-in expert store for the prompt path
• PR #229: multi-GPU: second GPU as an opt-in expert-cache tier with P2P rows (--peer-device), part 1 of #204
• Issue #204: Multi-GPU on 2x RTX 3090 (NVLink): the peer expert tier (#110) vs the layer split — measurements
• PR #223: Multi gpu: Layer split: pinned arena, lent prompt buffers, tested planner (2 x 2080 Ti decode +34%, 29K prompts +61%)
• PR #216: Multi-GPU: the session carve and the per-stage prompt loans
• PR #296: Add OrcaRouter Q4_K_S support (0.1.30)
• PR #255: Q8 0 support