山村商店

【Strata】Strataの最新改善：VRAM管理の細分化、Windows/AMDバグ修正、Macビルド復旧、Web UI強化

StrataローカルLLMQwenGPULLM

目次
  1. 今回の要点
  2. VRAM予約の細分化とメモリ管理の改善
  3. Windows HIPとAMD GPU関連のバグ修正・ベンチ
  4. Strata v0.1.45: Qwen3.6対応、マルチリクエスト、高速化
  5. Mac Metalビルド修正とApple Silicon機能追加
  6. Web UIのレスポンシブ対応とモニター機能強化
  7. 出典

Niko1221 (@coldniko) 開発のローカル推論エンジン「Strata」は、Qwen3.8-Flash-Next (125B MoE) を 8GB 以上の NVIDIA GPU とシステム RAM で動かすためのエンジンです。OpenAI/Anthropic 互換 API を提供し、MIT ライセンスで公開されています。今回の更新では、VRAM管理の高度化、Windows/AMD環境の安定性向上、Macビルドの復旧、Web UIの機能追加が含まれます。

今回の要点

  • VRAM予約とキャッシュ制御の環境変数が追加され、マルチGPU環境での細かな制御が可能に
  • Windows HIP環境で重大なバグ（誤回答、クラッシュ）が報告され、AMD GPU向け最適化が進む
  • Qwen3.6対応を含む v0.1.45 リリースと、Mac Metalビルドの修正
  • Web UIに検索機能とモニタリング機能が追加され、モバイル表示が改善

VRAM予約の細分化とメモリ管理の改善

前提

Strataは層分割（layer split）により、複数のGPUにモデルを分散させます。各GPUはVRAMを共有するため、予約領域を細かく制御する必要があります。

何が変わったか

新しい環境変数 STRATA_VRAM_RESERVE_MIB が導入されました。これは層分割の各パート（GPU）ごとにVRAM予約量をMiB単位で指定するもので、例えば STRATA_VRAM_RESERVE_MIB="100,100,300,300" のようにカンマ区切りで設定します。既存の --vram-reserve-mib や --vram-reserve-later-mib を置き換えるものです[1]。

また、STRATA_PREFILL_KEEP（デフォルト128）は、プロンプトチャンクがキャッシュのテールを借用する際に、専門家キャッシュに残すスロット数を制御します。これにより、小さなキャッシュでもより多くのスロットを確保できます[2]。STRATA_PREFILL_MAX は各パートのプロンプトチャンクの上限を指定し、STRATA_MMQ_SLAB はプロンプトパスのMMQスクラッチ領域をローンを活用して確保します[3][4]。

なぜ重要か

異なるサイズのGPUや、異なる層を保持するマルチGPU環境で、VRAMの効率的な使用とエラー回避が可能になります。

利用者の報告

利用者の報告

gopinath87607 は、Maya チェックアウト環境で STRATA_VRAM_RESERVE_MIB の動作を確認し、各パートのVRAM予約量が正しく表示されることを報告しています[5]。

また、DrLove73 は RTX PRO 4000 Blackwell (24 GiB) でベンチマークを実施し、--prefill auto:32768 と --conversation-cache-mib 8192 の設定で安定した動作を確認しています[6]。QuantBox723 は RTX 3090 (24 GiB) で qwen3.8-flash-next-unsloth-ud-iq4_xs を 262,144 トークンのコンテキストでテストし、[7]、almirjakubaitis は Quadro P6000 (24 GiB) で qwen3.8-flash-next-q2_0 の動作を確認しています[8]。jiangpedro は RTX PRO 5000 Blackwell (72 GB) でフルエキスパート居住環境を構築し、VRAMミスゼロで動作させています[9]。Tee8088 は RTX 3060 (12 GiB) でも qwen3.8-flash-next-iq3_s の動作を確認しています[10]。

Windows HIPとAMD GPU関連のバグ修正・ベンチ

前提

StrataはWindows環境でもHIP（Radeon GPU用）ビルドを提供していますが、一部のGPUや設定で重大な問題が報告されています。

何が変わったか

jerem91150 は Windows 11 + RX 7900 XTX (64 GB RAM) で、0.1.44.1 HIPビルド使用時、約5回に1回の割合でKVストリーミングがブロック読み込みを行わず、--kv-resident 以降のすべてのプロンプトで誤った回答を生成する問題を報告しています[11]。justincinmd は 2x R9700 (Linux, ROCm 7.2.4) で、v0.1.45 のデフォルト --pipeline-windows 2 がデコードを約25%遅くし、長いコンテキストでは最大2.7倍遅くなることを報告し、STRATA_PIPELINE_AUTO=0 で速度が回復することを示しています[12]。wanlemur は Windows HIP (RX 7800 XT) で Qwen3.6 2-bit GSQ-hybrid (Q2_0) をハイブリッドモード（一部エキスパートをCPU）で実行すると 0xC0000005 クラッシュが発生することを報告しています[13]。

一方、ユーザー は 2x Radeon Pro VII (gfx906) で v0.1.45 のビルドと動作を確認し、0.1.43.1 と比較して 32K デコードが約13%遅くなることを報告しています[14]。ユーザー は RX 6900 XT (gfx1030) で 6 モデルのベンチマークを報告しています[15]。開発者 は Skylake-X CPU で AVX-512 専用カーネルを実行する修正を提出しています[16]。

なぜ重要か

Windows/AMDユーザーにとって、安定した動作と速度の最適化が不可欠です。特にRX 7900 XTXやR9700などの高性能GPUでの問題解決は重要です。

利用者の報告

利用者の報告

jerem91150 は、RX 7900 XTX でプロンプト読み込みは正常だが回答が完全に的外れになる問題を報告しています[17]。justincinmd は 2x R9700 でデコード速度が25%低下し、32K/96K/160K コンテキストで最大2.7倍遅くなることを報告しています[18]。wanlemur は Qwen3.6 Q2_0 のハイブリッドモードでクラッシュを再現しています[19]。ユーザー は 2x Radeon Pro VII で v0.1.45 のビルドと動作を確認し、0.1.43.1 と比較して 32K デコードが約13%遅くなることを報告しています[20]。ユーザー は RX 6900 XT で 6 モデルのベンチマークを報告しています[21]。

Strata v0.1.45: Qwen3.6対応、マルチリクエスト、高速化

前提

Strata v0.1.45 は Qwen3.6 対応と大幅な高速化を含む最新リリースです。

何が変わったか

v0.1.45 では Qwen3.6 モデルファミリーのサポートが追加されました。また、マルチリクエスト処理の最適化と、Windows HIP環境での速度向上が含まれています[22]。

なぜ重要か

Qwen3.6 対応により、より多くのモデルがローカルで利用可能になり、速度向上により実用的な推論速度が実現します。

利用者の報告

利用者の報告

BBQ2077 は RX 9070 16 GB + Ryzen 7 5700 + 32 GiB RAM (Windows HIP 0.1.44.1) で Q2_0 モデルをテストし、短チャットデコードで中央値 64.7 tok/s、1,024 トークンの生成で 64.2 / 64.9 / 69.1 tok/s を達成したと報告しています[23]。16K と 32K プロンプトの最初のトークンまでそれぞれ約 73 秒と 105 秒かかりました。

Mac Metalビルド修正とApple Silicon機能追加

前提

StrataのMac Metalビルドは、CUDA互換レイヤーを通じてApple Silicon GPUを利用します。v0.1.45 でビルド失敗が発生しました。

何が変わったか

v0.1.45 (477ac13) で、Metal互換シェイム（metal_compat/cuda_runtime.h）に6つのシンボルが不足し、21のエントリポイントが未定義のためビルドとリンクが失敗しました[24]。開発者 はこれらのシンボルとエントリポイントを復旧する修正を提出しています[25]。また、DarkJoll は 3 つの欠陥を特定し、petski3 は長い会話でメインスレッドが退避される問題を報告しています[26]。開発者 は K-quant レイヤーのグリッド問題を修正しています[27]。ユーザー は Swift 1.5 を Mac で実行する要望を提出しています[28]。

なぜ重要か

Macユーザーにとって、ビルドの復旧は必須です。また、Swift 1.5 対応により、より多くのモデルが利用可能になります。

利用者の報告

利用者の報告

DarkJoll は Apple Silicon Mac で fresh install 時にビルドが失敗し、6つの未定義シンボルと21のエントリポイントの欠如を確認しています[29]。maverns は Apple M5 Max (128 GB) で同じ6つのシンボル欠如を確認しています[30]。oceanio は修正後、21のエントリポイントが不足していることを報告し、cuijs2026 は Apple M4 Pro (64 GB) で修正が正常に動作することを確認しています[31]。nullspeech は Apple M2 Max (96 GB) で同じ6つのシンボル欠如を確認し、macOS 15.5 SDK でも問題が発生することを報告しています[32]。petski3 は長い会話でメインスレッドが退避される問題を報告しています[33]。

Web UIのレスポンシブ対応とモニター機能強化

前提

StrataのWeb UIは、モバイルデバイスでも利用可能ですが、表示崩れが発生していました。

何が変わったか

TitanMamo はスマートフォン（412 px）でツール呼び出しが表示されるとページが画面外にはみ出る問題を報告しています[34]。開発者 は Web 検索機能（DuckDuckGo、SearXNG、Brave、Tavily、Serper）を Chat タブに追加しています[35]。開発者 はツール呼び出し結果の順序を修正しています[36]。開発者 はストリーミング中のスクロール位置を保持する修正を提出しています[37]。開発者 は Apple Silicon の GPU 温度・電力・クロックをモニターに表示する機能を追加しています[38]。開発者 は Monitor に Workers カードを追加し、バッチスロットごとの tok/s を表示しています[39]。

なぜ重要か

モバイルデバイスでの利用性向上と、Web 検索機能により、より実用的なチャット体験が提供されます。また、モニター機能の強化により、マルチリクエスト時の状態把握が容易になります。

利用者の報告

利用者の報告

TitanMamo はスマートフォンでツール呼び出しが表示されるとページが画面外にはみ出る問題を報告しています[40]。c-OOL-io は Web 検索機能の追加を報告しています[41]。j-luwierski はツール呼び出し結果の順序修正を報告しています[42]。

出典

【宣伝】SwitchBot 購入はこちらから

SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。