Strata on 山村商店

【Strata】Strata v0.2.1：Windowsの権限エラー修正とGGUF読み込み改善、Strix Halo対応

Tue, 20 Oct 2026 20:00:01 +0000

今回の要点

Strata v0.2.1がリリースされ、WindowsにおけるTerminalのインストール権限エラーが修正されました。
GGUFファイルの読み込みが改善され、Unsloth分割セットや複数サイズのフォルダ、リンクファイルが正常に認識されるようになりました。
Windows環境におけるAMD Strix Halo（hip-rdna3）の起動失敗（embedding buffer failed）が解消されました。
モデル準備処理の中断からの再開や、APIキーのネットワーク利用時の警告表示など、Terminalの使い勝手が向上しています。

Strata v0.2.1 リリース：Windows権限バグ修正、GGUF読み込み改善、Terminal安定化

前提

Strataは、Niko1221 (@coldniko) によって開発されているQwen3.8-Flash-Next (125B MoE) を8GB以上のNVIDIA GPUとシステムRAMで動作させるローカル推論エンジンです。OpenAI/Anthropic互換APIを提供し、MITライセンスで公開されています。

何が変わったか

2026年10月20日にリリースされたStrata v0.2.1（およびその後のアップデート）では、Windows環境におけるTerminalの動作安定化と、GGUFファイルの読み込みロジックが大幅に改善されました。具体的には、Windowsのランタイムフォルダ権限エラー（「所有者のみでなければならない」）が修正され、Terminalのインストールと起動が正常に行えるようになりました。また、Unsloth分割セットや1つのフォルダ内に複数のサイズがある場合、リンクファイルなど、複雑な構成のGGUFファイルも再び読み込まれるようになりました。さらに、ダウンロードや準備ステップでのファイル名がプレーンな名前に統一され、モデル準備処理が中断地点から再開可能になりました。ネットワーク環境ではAPIキーが必須ではなくなりましたが、警告表示が行われるようになりました。

なぜ重要か

Windowsユーザーにとって、Terminalのインストールエラーや権限エラーはStrataの利用を妨げる主要な障壁の一つでした。今回の修正により、長路径OFF環境でのAMDエンジンインストール失敗や、複雑なGGUF構成での読み込みエラーが解消され、より安定したローカル推論環境が構築できるようになります。特に、Strix Haloを搭載したPCでの起動失敗が解消されたことは、AMD GPUユーザーにとって大きな改善です。

根拠のリンク

Strata v0.2.1

出典

Strata v0.2.1

【Strata】Strata v0.2.0ベータ版：RDNA4最適化、VRAM管理の不具合、ベンチツール修正の最新状況

Mon, 19 Oct 2026 20:00:01 +0000

Strataは、Niko1221 (@coldniko) によって開発されたQwen3.8-Flash-Next (125B MoE) を8GB以上のNVIDIA GPUとシステムRAMで動作させるローカル推論エンジンです。OpenAI/Anthropic互換APIを提供し、MITライセンスで公開されています。今回のv0.2.0ベータ版では、RDNA4 (gfx12) 向けカーネルの大幅な最適化やVRAM管理の仕組み変更が入る一方で、既存ユーザーの環境では予期せぬ不具合や速度低下も報告されています。

今回の要点

RDNA4 (gfx12) 向け最適化: QSA、WMMA、GDNカーネルが最適化され、デコード速度が向上しました。
VRAM管理の不具合: v0.2.0-betaではVRAM reserveが強制上書きされ、専用GPU環境で速度が低下する報告があります。
Linux環境でのクラッシュ: PipeWire環境下でRTTIME制限が原因の「exit code -9」が発生しています。
ベンチマークツールの修正: サーバー起動時のNameErrorや、環境情報の正確な取得が改善されました。
Intel Arc Pro B70 (SYCL) サポート: 速度向上とコピーエンジンハングの修正が行われています。

RDNA4 (gfx12) 向けHIPカーネルの大幅最適化

前提

RDNA4 (gfx12) はNVIDIAの最新アーキテクチャであり、StrataではHIP (CUDA互換) 経由で動作します。今回の変更は、このアーキテクチャ特有の命令セット (WMMA, QSA) を活用し、カーネルの効率を高めるものです。

何が変わったか

複数のプルリクエスト (#3233, #3230, #3225, #3223) により、RDNA4 (gfx12) 向けの最適化が実施されました。具体的には、QSA (Quantized Softmax Attention) ブロックスコアリングとtop-k選択の最適化、wave32 QSAデコードアテンションの有効化、MMVQ行再利用、そしてFP16/BF16 WMMAカーネルとGDNプリフィル再帰のポートが行われています。これにより、グローバルKV VMEMロード時のストール回避や、LDS (Local Data Share) バリアーの最適化が図られています。

なぜ重要か

RDNA4 (例: RTX 50シリーズ) を搭載しているユーザーにとって、これらの最適化はデコード速度とプロンプト読み込み速度の向上に直結します。特に、wave32モードの有効化は、新しいアーキテクチャの特性を最大限に引き出すために重要です。

根拠のリンク

利用者の報告

NVIDIA RTX A6000 (48GB), CUDA 13.0, Strata 0.1.44.1 環境でベンチマークを実施。Mohongzhi
NVIDIA RTX PRO 4000 Blackwell (24GB), CUDA 13.0, Strata 0.1.43.1 環境でベンチマークを実施。DrLove73
2x RTX 3090 環境で連続動作テストを実施し、エラーなしで正常に動作したと報告。alexanderjacuna
NVIDIA GeForce RTX 5060 Ti (16GB), Windows 11 環境でベンチマークを実施。williamckl

利用者の報告

RTX 5060 Ti (16GB) を使用するユーザー (@wycoconut) は、モデルダウンロード段階で「command failed (exit 1): python.exe」エラーが発生し、mtpファイルのダウンロードタイムアウトが原因でインストールが止まる報告をしています。再試行を繰り返すことで回避可能ですが、長期的な解決策が必要です (Issue #3214)。

また、開発者 (@bsorensen110) 自身による実装報告では、gfx12における共有メモリバリアーの改善により、グローバルKV VMEMロード時のストールが回避され、デコード性能が向上したとされています (PR #3230)。

VRAM確保、レイヤ分割、メモリ管理の不具合と最適化

前提

Strataは、モデルの重み (エキスパート) をGPU VRAMとCPU RAMに分割して配置します。NUMA (Non-Uniform Memory Access) 環境では、CPUソケットごとのメモリアクセス効率を最適化するために「NUMA分割」が有効になることがあります。

何が変わったか

v0.2.0ベータ版では、VRAM reserve (確保) の挙動が変更されました。特に、ユーザーが `--vram-reserve-mib 0` を指定しても、エンジンが強制的に 1536 MiB を reserve するよう上書きされる現象が報告されています。また、Linux環境ではファイルティア (ファイルキャッシュ) の選択ルールに問題があり、アンバッファードリードと比較してデコード速度が 3〜4 倍遅くなるケースが見つかっています (Issue #3237)。

なぜ重要か

VRAM reserveが強制的に確保されることで、エキスパートキャッシュの領域が削られ、デコード速度が大幅に低下する可能性があります。特に、ディスプレイ出力をCPU内蔵GPUに任せてVRAMを全て推論に使う「専用計算GPU」環境では、この影響が顕著です。また、Linuxユーザーはファイルキャッシュの選択ミスにより、意図せず低速な読み込み経路が使われるリスクがあります。

根拠のリンク

利用者の報告

RTX 5070 (12GB) + Ryzen 7 7700 (iGPU使用) の環境で、@mesosomeso は `--vram-reserve-mib 0` を指定しても 1536 MiB が確保され、デコード速度が 80 tok/s から 50 tok/s へ約 37% 低下したと報告しています (Issue #3215)。同様に、@elusuario73 も 12GB VRAM環境で reserve 値の変更がエラーになることを報告しています。

Linux環境では、@vthomasino が PipeWireデスクトップ環境で `RLIMIT_RTTIME` 制限が原因の「exit code -9」クラッシュを報告しています。OOM (Out of Memory) ではなく、リアルタイム制限による強制終了でした (Issue #3238)。

NUMA分割の効果については、環境によって結果が分かれています。HP Z6 G4 (Dual Xeon Gold 6226 + RTX 3090) の @baptisterajaut は、NUMA分割有効化でデコード速度が 52.6 tok/s から 60.0 tok/s へ向上したと報告しています (Issue #3201)。一方、Dual Xeon E5-2670 v2 + 2x CMP 50HX の @xrip は、分割なしの方が 12.6% 高速だったと報告しており、CPU世代やGPU構成によって最適解が異なることが示唆されています (Issue #3201 Comment)。

Strata v0.2.0ベータリリースとQwen3.8対応

前提

StrataはQwen3.8-Flash-Next (125B MoE) に対応しており、VRAM効率を高めるためにK/Vキャッシュの精度 (FP16/INT8等) や、エキスパートのオフロード設定が重要です。

何が変わったか

v0.2.0ベータ版では、Qwen3.6/3.5系エンジンでFP32だったK/Vキャッシュが、デフォルトでFP16 (6.0 GiB at 262144) に変更されました。また、`--kv-q8` オプションでINT8 (3.1 GiB) での保存が可能になり、16GBカードでも262Kコンテキストが収まるようになりました (PR #3084)。さらに、DFlash2 (7トークンドラフター) のサポート要望や、HyperQwen (lookup augmented block drafter) による速度向上の可能性が議論されています。

なぜ重要か

K/Vキャッシュの精度変更により、VRAMの節約とコンテキスト長の拡大が実現します。また、DFlash2等のドラフター技術のサポートは、推論速度を大幅に向上させる可能性があります。

根拠のリンク

利用者の報告

@apdogod123321-ops は、RTX 2080 Ti (11GB) 環境でDFlash2のサポートを要望しています (Issue #3183)。@Meetsch は、DFlash2とHyperQwenを組み合わせることで、RTX 3090上で最大 380 tok/s の速度向上が期待できると報告しています (Issue #3183 Comment)。

ベンチマークツールの改善とモニタリング機能の強化

前提

Strataには `tools/strata_bench.py` および `BENCH.bat` といったベンチマークツールが含まれており、ユーザーが自分の環境での性能を測定・報告するために使われます。

何が変わったか

v0.2.0ベータ版では、ベンチマークツールにいくつかのバグが見つかりました。特に、サーバーを起動する際に `NameError: name 'port' is not defined` が発生し、ベンチマークが実行できない状態でした (Issue #3188)。また、環境情報の取得について、CUDA UMDバージョンやストレージ情報、GPUの詳細 (電力、PCIeリンク等) が正しく取得されない問題があり、これらが修正されました (PR #3250)。

なぜ重要か

ベンチマークツールは、ユーザーが自分の環境での性能を評価し、開発者にフィードバックを与えるための重要な手段です。ツールのバグ修正により、正確なベンチマーク結果の取得が可能になります。

根拠のリンク

利用者の報告

RTX 5090 (Windows 11) の @ZrDaniel07 と、RTX 4060 Ti (Windows 11) の @JoShMiQueL は、ベンチマークツールがサーバー起動時にクラッシュすることを報告し、修正パッチや回避策を提示しています (Issue #3188 Comment, Issue #3188 Comment)。

Intel Arc Pro B70 (SYCL) のサポートとベンチマーク

前提

StrataはNVIDIA GPUだけでなく、Intel Arc GPU (SYCL経由) のサポートも進めています。Arc Pro B70/B65 (Battlemage) は、32GB VRAMを搭載し、大規模モデルの推論に適しています。

何が変わったか

Intel Arc Pro B70/B65向けに、SYCLエンジンが最適化されました。プロンプト速度が 10-35% 向上し、コピーエンジンのハング (カードのフリーズ) が修正されました。また、INT8クロスオーバーキャッシュの実装や、テストの失敗修正が行われています (PR #3248)。単一B70環境で、IQ2_XS量子化モデルを用いたデコード速度は、最適化前 (67.10 tok/s) から最適化後 (94.85 tok/s) へ向上しています (PR #3153)。

なぜ重要か

Intel Arcユーザーにとって、これらの最適化は推論速度の向上と安定性の確保に直結します。特に、コピーエンジンのハング修正は、長時間の推論やKVキャッシュの保存/復元において重要です。

根拠のリンク

利用者の報告

Intel Arc Pro B70 (32GB VRAM) + Xeon w5-3435X の環境で、@xiangyuT は最適化後のSYCLエンジンで、32Kワークロードにおいて 94.85 tok/s のデコード速度を達成したと報告しています (Issue #3150)。開発者 (@maxfridbe) は、コピーエンジンのハング修正により、テストが正常に通過し、カードのフリーズが解消されたことを報告しています (PR #3248)。

出典

【Strata】Strataの最新改善：VRAM管理の細分化、Windows/AMDバグ修正、Macビルド復旧、Web UI強化

Sat, 17 Oct 2026 21:18:40 +0000

Niko1221 (@coldniko) 開発のローカル推論エンジン「Strata」は、Qwen3.8-Flash-Next (125B MoE) を 8GB 以上の NVIDIA GPU とシステム RAM で動かすためのエンジンです。OpenAI/Anthropic 互換 API を提供し、MIT ライセンスで公開されています。今回の更新では、VRAM管理の高度化、Windows/AMD環境の安定性向上、Macビルドの復旧、Web UIの機能追加が含まれます。

今回の要点

VRAM予約とキャッシュ制御の環境変数が追加され、マルチGPU環境での細かな制御が可能に
Windows HIP環境で重大なバグ（誤回答、クラッシュ）が報告され、AMD GPU向け最適化が進む
Qwen3.6対応を含む v0.1.45 リリースと、Mac Metalビルドの修正
Web UIに検索機能とモニタリング機能が追加され、モバイル表示が改善

VRAM予約の細分化とメモリ管理の改善

前提

Strataは層分割（layer split）により、複数のGPUにモデルを分散させます。各GPUはVRAMを共有するため、予約領域を細かく制御する必要があります。

何が変わったか

新しい環境変数 STRATA_VRAM_RESERVE_MIB が導入されました。これは層分割の各パート（GPU）ごとにVRAM予約量をMiB単位で指定するもので、例えば STRATA_VRAM_RESERVE_MIB="100,100,300,300" のようにカンマ区切りで設定します。既存の --vram-reserve-mib や --vram-reserve-later-mib を置き換えるものです[1]。

また、STRATA_PREFILL_KEEP（デフォルト128）は、プロンプトチャンクがキャッシュのテールを借用する際に、専門家キャッシュに残すスロット数を制御します。これにより、小さなキャッシュでもより多くのスロットを確保できます[2]。STRATA_PREFILL_MAX は各パートのプロンプトチャンクの上限を指定し、STRATA_MMQ_SLAB はプロンプトパスのMMQスクラッチ領域をローンを活用して確保します[3][4]。

なぜ重要か

異なるサイズのGPUや、異なる層を保持するマルチGPU環境で、VRAMの効率的な使用とエラー回避が可能になります。

利用者の報告

gopinath87607 は、Maya チェックアウト環境で STRATA_VRAM_RESERVE_MIB の動作を確認し、各パートのVRAM予約量が正しく表示されることを報告しています[5]。

また、DrLove73 は RTX PRO 4000 Blackwell (24 GiB) でベンチマークを実施し、--prefill auto:32768 と --conversation-cache-mib 8192 の設定で安定した動作を確認しています[6]。QuantBox723 は RTX 3090 (24 GiB) で qwen3.8-flash-next-unsloth-ud-iq4_xs を 262,144 トークンのコンテキストでテストし、[7]、almirjakubaitis は Quadro P6000 (24 GiB) で qwen3.8-flash-next-q2_0 の動作を確認しています[8]。jiangpedro は RTX PRO 5000 Blackwell (72 GB) でフルエキスパート居住環境を構築し、VRAMミスゼロで動作させています[9]。Tee8088 は RTX 3060 (12 GiB) でも qwen3.8-flash-next-iq3_s の動作を確認しています[10]。

Windows HIPとAMD GPU関連のバグ修正・ベンチ

前提

StrataはWindows環境でもHIP（Radeon GPU用）ビルドを提供していますが、一部のGPUや設定で重大な問題が報告されています。

何が変わったか

jerem91150 は Windows 11 + RX 7900 XTX (64 GB RAM) で、0.1.44.1 HIPビルド使用時、約5回に1回の割合でKVストリーミングがブロック読み込みを行わず、--kv-resident 以降のすべてのプロンプトで誤った回答を生成する問題を報告しています[11]。justincinmd は 2x R9700 (Linux, ROCm 7.2.4) で、v0.1.45 のデフォルト --pipeline-windows 2 がデコードを約25%遅くし、長いコンテキストでは最大2.7倍遅くなることを報告し、STRATA_PIPELINE_AUTO=0 で速度が回復することを示しています[12]。wanlemur は Windows HIP (RX 7800 XT) で Qwen3.6 2-bit GSQ-hybrid (Q2_0) をハイブリッドモード（一部エキスパートをCPU）で実行すると 0xC0000005 クラッシュが発生することを報告しています[13]。

一方、ユーザーは 2x Radeon Pro VII (gfx906) で v0.1.45 のビルドと動作を確認し、0.1.43.1 と比較して 32K デコードが約13%遅くなることを報告しています[14]。ユーザーは RX 6900 XT (gfx1030) で 6 モデルのベンチマークを報告しています[15]。開発者は Skylake-X CPU で AVX-512 専用カーネルを実行する修正を提出しています[16]。

なぜ重要か

Windows/AMDユーザーにとって、安定した動作と速度の最適化が不可欠です。特にRX 7900 XTXやR9700などの高性能GPUでの問題解決は重要です。

利用者の報告

jerem91150 は、RX 7900 XTX でプロンプト読み込みは正常だが回答が完全に的外れになる問題を報告しています[17]。justincinmd は 2x R9700 でデコード速度が25%低下し、32K/96K/160K コンテキストで最大2.7倍遅くなることを報告しています[18]。wanlemur は Qwen3.6 Q2_0 のハイブリッドモードでクラッシュを再現しています[19]。ユーザーは 2x Radeon Pro VII で v0.1.45 のビルドと動作を確認し、0.1.43.1 と比較して 32K デコードが約13%遅くなることを報告しています[20]。ユーザーは RX 6900 XT で 6 モデルのベンチマークを報告しています[21]。

Strata v0.1.45: Qwen3.6対応、マルチリクエスト、高速化

前提

Strata v0.1.45 は Qwen3.6 対応と大幅な高速化を含む最新リリースです。

何が変わったか

v0.1.45 では Qwen3.6 モデルファミリーのサポートが追加されました。また、マルチリクエスト処理の最適化と、Windows HIP環境での速度向上が含まれています[22]。

なぜ重要か

Qwen3.6 対応により、より多くのモデルがローカルで利用可能になり、速度向上により実用的な推論速度が実現します。

利用者の報告

BBQ2077 は RX 9070 16 GB + Ryzen 7 5700 + 32 GiB RAM (Windows HIP 0.1.44.1) で Q2_0 モデルをテストし、短チャットデコードで中央値 64.7 tok/s、1,024 トークンの生成で 64.2 / 64.9 / 69.1 tok/s を達成したと報告しています[23]。16K と 32K プロンプトの最初のトークンまでそれぞれ約 73 秒と 105 秒かかりました。

Mac Metalビルド修正とApple Silicon機能追加

前提

StrataのMac Metalビルドは、CUDA互換レイヤーを通じてApple Silicon GPUを利用します。v0.1.45 でビルド失敗が発生しました。

何が変わったか

v0.1.45 (477ac13) で、Metal互換シェイム（metal_compat/cuda_runtime.h）に6つのシンボルが不足し、21のエントリポイントが未定義のためビルドとリンクが失敗しました[24]。開発者はこれらのシンボルとエントリポイントを復旧する修正を提出しています[25]。また、DarkJoll は 3 つの欠陥を特定し、petski3 は長い会話でメインスレッドが退避される問題を報告しています[26]。開発者は K-quant レイヤーのグリッド問題を修正しています[27]。ユーザーは Swift 1.5 を Mac で実行する要望を提出しています[28]。

なぜ重要か

Macユーザーにとって、ビルドの復旧は必須です。また、Swift 1.5 対応により、より多くのモデルが利用可能になります。

利用者の報告

DarkJoll は Apple Silicon Mac で fresh install 時にビルドが失敗し、6つの未定義シンボルと21のエントリポイントの欠如を確認しています[29]。maverns は Apple M5 Max (128 GB) で同じ6つのシンボル欠如を確認しています[30]。oceanio は修正後、21のエントリポイントが不足していることを報告し、cuijs2026 は Apple M4 Pro (64 GB) で修正が正常に動作することを確認しています[31]。nullspeech は Apple M2 Max (96 GB) で同じ6つのシンボル欠如を確認し、macOS 15.5 SDK でも問題が発生することを報告しています[32]。petski3 は長い会話でメインスレッドが退避される問題を報告しています[33]。

Web UIのレスポンシブ対応とモニター機能強化

前提

StrataのWeb UIは、モバイルデバイスでも利用可能ですが、表示崩れが発生していました。

何が変わったか

TitanMamo はスマートフォン（412 px）でツール呼び出しが表示されるとページが画面外にはみ出る問題を報告しています[34]。開発者は Web 検索機能（DuckDuckGo、SearXNG、Brave、Tavily、Serper）を Chat タブに追加しています[35]。開発者はツール呼び出し結果の順序を修正しています[36]。開発者はストリーミング中のスクロール位置を保持する修正を提出しています[37]。開発者は Apple Silicon の GPU 温度・電力・クロックをモニターに表示する機能を追加しています[38]。開発者は Monitor に Workers カードを追加し、バッチスロットごとの tok/s を表示しています[39]。

なぜ重要か

モバイルデバイスでの利用性向上と、Web 検索機能により、より実用的なチャット体験が提供されます。また、モニター機能の強化により、マルチリクエスト時の状態把握が容易になります。

利用者の報告

TitanMamo はスマートフォンでツール呼び出しが表示されるとページが画面外にはみ出る問題を報告しています[40]。c-OOL-io は Web 検索機能の追加を報告しています[41]。j-luwierski はツール呼び出し結果の順序修正を報告しています[42]。