山村商店

【Strata】Strata v0.2.3.1：Windows NVIDIAパッケージのセットアップ失敗修正と、AMD/NVIDIA固有のGPU互換性・VRAM管理の最新知見

StrataローカルLLMQwenGPULLM

目次
  1. 今回の要点
  2. GPU互換性トラブルシューティング：ドライバー要件とAMD/NVIDIA固有の障害
  3. VRAM管理の改善：デュアルGPUでの予約メモリ最適化とMetalのPLEテーブル対応
  4. DFlash2 推論：サーバーモードとマルチGPUレイヤースプリットでの利用が可能に
  5. Strata v0.2.3.1 リリース：Windows NVIDIA パッケージでのセットアップ失敗を修正
  6. Qwen3.8-Flash-Next IQ3_S：多様なGPU環境でのベンチマークと最適化
  7. 出典

Strataは、Niko1221 (@coldniko) によって開発されたQwen3.8-Flash-Next (125B MoE)を、8GB以上のNVIDIA GPUとシステムRAMで動作させるローカル推論エンジンです。OpenAI/Anthropic互換APIを提供し、MITライセンスで公開されています。

今回の要点

  • セットアップ時のWindows NVIDIAパッケージでの停止問題を修正した「v0.2.3.1」がリリースされました。
  • WindowsにおけるNVIDIAドライバーの要件が明確化され、580以降のバージョンが必要となりました。
  • AMD RDNA4 (RX 9070 XT) および RDNA2 (RX 6000シリーズ) で、メモリ不足やアクセス違反による起動失敗が報告されています。
  • デュアルGPU環境において、予約メモリ (--vram-reserve-mib) が両方のGPUで確保され、片方のGPUで無駄になっている問題が指摘されました。
  • DFlash2推論がサーバーモードおよびマルチGPUレイヤースプリットに対応しましたが、速度向上には繋がらないケースも確認されています。

GPU互換性トラブルシューティング：ドライバー要件とAMD/NVIDIA固有の障害

Strataのインストールや起動において、GPUドライバーのバージョンやアーキテクチャの互換性が重要な役割を果たします。特に、最新の推論エンジンでは、古いドライバーが原因でインストールが失敗するケースが発生しています。

今回の更新で、NVIDIAドライバーの要件が明確化されました。例えば、NVIDIA A40 (Compute Capability 8.6) を搭載した環境において、ドライバーバージョン 576.57 ではインストールが失敗し、580以降のバージョンが必要であるというエラーが表示されます。ただし、GUIやTUIからはこの条件を満たすための代替オプション (--cuda 12) を選択する方法が提供されていないため、ユーザーは手動でドライバーを更新する必要があります https://github.com/Niko1221/Strata/issues/3843。

AMD GPUを使用する場合にも、アーキテクチャ固有の障害が報告されています。Linux環境でRX 9070 XT (16 GB) を使用する場合、エンジン 0.1.48 の更新テスト開始時に、重みアップロード中に「out of memory」エラーが発生し、正常に起動しないという報告があります https://github.com/Niko1221/Strata/issues/3842。また、Windows 11上でRX 6800 XT (gfx1030) を使用する場合、エンジン 0.1.47 および 0.1.48 が重みアリーナ割り当て後にアクセス違反 (0xC0000005) でクラッシュし、以前のバージョン (0.1.44.1) では正常に動作していたという報告もあります https://github.com/Niko1221/Strata/issues/3828。

利用者の報告 (原文抜粋)

  • Strata Benchmark Report — Qwen3.8 Flash Next (Unsloth UD-Q4_K_XL) on 0.1.45, with --vision=cpu, 260+ kombinations # Stra… — DrLove73
  • [Benchmark] RTX 5080 16 GB + Core Ultra 9 285K, Qwen3.8-Flash-Next IQ3_XXS 64K: 150 tok/s decode, 4.4K tok/s prompt (Lin… — xyehya
  • Community benchmark: 2x RTX 3090 24GB, 192GB RAM, Qwen 3.8 Flash Next IQ3_XXS, 256K Context, Strata 0.1.45 # Community b… — Gallium70
  • Community Benchmark: 3x RTX 5060 Ti 16GB - Qwen3.8-Flash-Next-UD-Q6_K_XL [results.json](https://github.com/user-attachme… — cafec0ffee

利用者の報告

Windows 11環境でRX 9070 XT (16 GB) を使用しているユーザー (@Retina-sys) は、アプリを 0.2.3 に更新してもエンジンが 0.1.47 のまま更新されないという報告をしています。アンインストールと再インストールを試みても、0.1.48のHIPパッケージが展開されるものの、設定画面では依然として 0.1.47 が表示される状態が続いています https://github.com/Niko1221/Strata/issues/3839。

Windows 11環境でNVIDIA A40 (45.0 GB VRAM) を使用しているユーザー (@catamaican) は、ドライバー 576.57 でインストールが失敗し、580以降が必要であるというエラーに遭遇しました。コマンドラインから --cuda 12 オプションを試みましたが、strata launch オプションとして認識されなかったと報告しています https://github.com/Niko1221/Strata/issues/3843。

VRAM管理の改善：デュアルGPUでの予約メモリ最適化とMetalのPLEテーブル対応

Strataのエンジン内部では、VRAMの効率的な管理が求められます。特に、デュアルGPU構成やmacOSでの動作において、メモリ割り当ての最適化が重要となっています。

デュアルGPU環境において、--vram-reserve-mib オプションが意図した通りに動作していない問題が指摘されました。このオプションは、UbuntuやWayland、ブラウザなどの他のアプリケーションが動作するために、GPUのVRAMを一定量空けておくためのものです。しかし、デュアルGPUシステムでは、この予約メモリが両方のGPUで確保され、結果として2番目のGPUではそのメモリが無駄になっているという報告があります https://github.com/Niko1221/Strata/issues/3877。

macOS (Apple Silicon) 環境では、Gyro GGUFファイルのPLE (Packed Layer Experts) テーブルをMetalバッファにラップする際に、ファイル全体をラップしていたため、VRAMの大半を消費し、プロンプト処理やデコードの速度低下を招いていました。この問題に対し、PLEテーブルの周囲のみをラップするように変更するプルリクエストが提出されています。これにより、VRAMの使用量が 92 GB から 37.6 GB に削減され、デコード速度が 70.9 tok/s から 84.6 tok/s へ向上するなどの改善が確認されています https://github.com/Niko1221/Strata/pull/3876。

利用者の報告

macOS (Apple Silicon, 128 GB unified memory) 環境でGyro-M TQ2_0 (92 GBファイル) を使用しているユーザー (@mnott) は、PLEテーブルをラップしないように変更したバージョンで、VRAMの空きが 3,966 MiB から 56,492 MiB に増加し、2kプロンプトのTTFTが 2.94秒から 1.72秒に短縮されたという測定結果を報告しています https://github.com/Niko1221/Strata/pull/3876。

デュアルGPU環境で --vram-reserve-mib 4096 を使用しているユーザー (@MarkSwanson) は、このオプションが2番目のGPUでも4 GBを予約し、それが無駄になっていると指摘しています。この4 GBを別のレイヤーやn-gramテーブルの一部に充てることを提案しています https://github.com/Niko1221/Strata/issues/3877。

DFlash2 推論：サーバーモードとマルチGPUレイヤースプリットでの利用が可能に

Strataの推論エンジンでは、DFlash2という高速推論技術がサポートされています。従来はCLIでのみ利用可能でしたが、今回の更新により、サーバーモード (--serve) およびマルチGPUレイヤースプリットでも利用可能となりました。

この変更により、--serve --draft dflash2 --draft-model PACK のようなオプションで、単一のGPUおよび複数のGPUにまたがるレイヤースプリット環境でDFlash2によるドラフティングが可能になりました https://github.com/Niko1221/Strata/pull/3869。また、サーバーモードにおけるソロストリームでも、DFlash2が有効化され、48Kプロンプトでのデコード速度が 83.2 tok/s (MTP) から 90.6 tok/s (DFlash2) へ向上する測定結果が報告されています https://github.com/Niko1221/Strata/pull/3882。

ただし、この機能の速度向上は環境に依存します。2つのRTX 3090 (24 GB) をレイヤースプリットで使用している環境では、DFlash2はMTPよりも 1.8% 遅く、単一のGPUでも 4% 遅いという測定結果が報告されています。そのため、デフォルトではMTPが維持されており、この変更はデフォルト動作を変更するものではありません https://github.com/Niko1221/Strata/pull/3869。

利用者の報告

2つのRTX 3090 (24 GB) をレイヤースプリットで使用しているユーザー (@stuchapin909) は、DFlash2を有効にした場合、テキスト生成は正常に行われるものの、MTPと比較してデコード速度が 1.8% 遅いという測定結果を報告しています。5つのプロンプトタイプ、各6回のランの平均値です https://github.com/Niko1221/Strata/pull/3869。

Strata v0.2.3.1 リリース：Windows NVIDIA パッケージでのセットアップ失敗を修正

2026年10月23日、Strata v0.2.3.1 がリリースされました。このバージョンは、Windows および Linux における NVIDIA パッケージでのセットアップ失敗問題を修正するホットフィックスです。

以前のバージョン (0.2.3) では、セットアッププロセスがグラフィックカードの世代リストを1文字ずつ読み取ることで、Windows CUDAパッケージでクラッシュしていました。v0.2.3.1 では、パッケージが書き込む形式に合わせてリストの読み取り方法が修正されました。これにより、Windows および Linux の NVIDIAパッケージ、およびインストール済みのAMDエンジンでのチェックが正常に動作するようになりました https://github.com/Niko1221/Strata/releases/tag/v0.2.3.1。

この修正は、TerminalのControl (バージョン 0.1.48.1) のみを変更するもので、アプリ (0.2.3) およびエンジンパッケージ (0.1.48) は変更されていません。0.2.3以降のユーザーは、ターミナルで strata update を実行することで、Control 0.1.48.1 を取得し、v0.2.3.1 として動作させることができます。

Qwen3.8-Flash-Next IQ3_S：多様なGPU環境でのベンチマークと最適化

Qwen3.8-Flash-Next モデルの IQ3_S 量子化バージョンについて、多様なGPU環境でのベンチマークと最適化の知見が報告されています。

Windows環境でStrix Halo (gfx1151) を使用する場合、環境変数 STRATA_PF_FUSED_KQ=1 と STRATA_PF_F16=1 を有効にすることで、6.4Kトークンのプロンプトにおいて IQ3_XXS で +12.3%、IQ3_S で +8.0% のプレフィル速度向上が確認されています https://github.com/Niko1221/Strata/issues/3861。

また、AVX2をサポートしていないCPU (Xeon E5-2697 v2) と2つのRTX 3060 (12 GB) をレイヤースプリットで使用する場合、エンジン 0.1.48.1 への更新により、4Kおよび16Kのフレッシュプロンプト読み込み速度がそれぞれ 9.0% および 4.7% 低下する一方で、エージェントセッションでのデコード速度は 8.3% 向上するなどの測定結果が報告されています https://github.com/Niko1221/Strata/issues/3866。

利用者の報告

Strix Halo (gfx1151) を搭載したWindowsマシンで、環境変数 STRATA_PF_FUSED_KQ=1 と STRATA_PF_F16=1 を使用しているユーザー (@HaiYunChuang) は、IQ3_S モデルで +8.0% のプレフィル速度向上を確認しました。また、hipBLASLtのチューニングテーブルはすでに最適化されており、再チューニングによる改善は限定的であるという報告もあります https://github.com/Niko1221/Strata/issues/3861。

AVX2をサポートしていないCPU (Xeon E5-2697 v2) と2つのRTX 3060 (12 GB) をレイヤースプリットで使用しているユーザー (@CaptRauti) は、エンジン 0.1.48.1 への更新により、4Kおよび16Kのフレッシュプロンプト読み込み速度がそれぞれ 9.0% および 4.7% 低下したと報告しています。一方で、エージェントセッションでのデコード速度は 8.3% 向上し、キャッシュヒット率もほぼ変化なかったと報告しています https://github.com/Niko1221/Strata/issues/3866。

出典

【宣伝】SwitchBot 購入はこちらから

SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。