山村商店

Strata v0.1.42：デコード最大30%高速化、Windows AMD/Intel Arc対応、マルチGPU修正

StrataローカルLLMQwenGPULLM

目次
  1. 今回の要点
  2. v0.1.42 リリース：デコード高速化と主要GPU環境の修正
  3. Windows AMD環境で画像推論とGPUモニタリングが利用可能に
  4. StrataのResident RAMモードに会話追従機能（STRATA_RAM_ADAPT）
  5. RTX 5090/5070 TiやMI50など新ハードウェアの実測報告
  6. WebチャットUIに数式表示（MathJax/KaTeX）サポート追加
  7. 出典

Niko1221 (@coldniko) 開発のローカル推論エンジン「Strata」が、2026年10月10日に v0.1.42 をリリースしました。本バージョンは、NVIDIA GPU 環境におけるデコード速度の大幅な向上、Windows 上の AMD/Intel Arc GPU での画像入力とモニタリング機能の追加、そして RAM 容量が限られる環境での推論速度改善など、実用性を高める修正が含まれています。

今回の要点

  • デコード高速化：NVIDIA GPU 環境で最大 30% の速度向上。特に CPU が PCIe リンクより高速な環境で顕著。
  • Windows AMD/Intel Arc 対応：画像入力（Vision）と GPU 負荷モニタリングが利用可能に。
  • Resident RAM モード改善：会話履歴に追従して RAM 上のモデルを最適化する新オプションを追加。
  • Web UI 数式表示：MathJax/KaTeX による数式レンダリングをサポート（デフォルト無効）。

v0.1.42 リリース：デコード高速化と主要GPU環境の修正

前提

Strata は Qwen3.8-Flash-Next (125B MoE) を 8GB 以上の NVIDIA GPU とシステム RAM で動かすローカル推論エンジンです。OpenAI/Anthropic 互換 API を提供し、MIT ライセンスで配布されています。

何が変わったか

v0.1.42 では、CUDA 環境におけるデコード速度の最適化が主要な変更点です。特に、検証ウィンドウ内で「ミスした専門家（expert）」の処理をスキップする新機能（`STRATA_ROUTE_TAIL_SKIP=7`）がデフォルトで有効化されました。これにより、VRAM にロードされていない専門家が計算対象から外され、処理が高速化されます。

また、Windows 上の AMD および Intel Arc GPU 向けに、マルチGPU分割時の修正や、RAM が限られるマシンでの動作改善が含まれています。更新は `UPDATE.bat`（Linux: `./update.sh`）で実行可能です。

なぜ重要か

デコード速度の向上は、ローカルLLM利用者の待ち時間短縮に直結します。特に、RTX 3060 12GB や RTX A4000 16GB といったエントリー〜ミドルクラスのGPUを搭載するユーザーにとって、体感速度が 13〜16% 向上するのは大きなメリットです。また、Windows AMD/Intel Arc ユーザー向けに画像入力機能が利用可能になることで、対応環境が広がります。

根拠のリンク

Strata v0.1.42 Release Notes

利用者の報告

RTX 3060 / A4000 環境での高速化

リリースノートによると、RTX 3060 12GB (IQ3_XXS) ではデコード速度が +15.6%、RTX A4000 16GB (Q2_0) では +12.9% の向上が確認されています。Tesla P100 16GB でも +14.6% の改善が見られました。一方、2x RTX A4000 でレイヤースプリット（99.7%の専門家がVRAMに常駐）環境では、速度変化は -0.2% とほぼ同等でした。これは、専門家が既にVRAMにある環境ではスキップ効果が働かないためです。

V100 環境での挙動

christopherrobertbrooks-tech による Tesla V100-PCIe-32GB (32GB RAM) での報告では、v0.1.42 のデフォルト設定（`STRATA_ROUTE_TAIL_SKIP=7`）が、逆効果になるケースが報告されています。GPU ヒット率が 99.9% で、残りの専門家がページロック済みRAM（resident RAM）にある環境では、デコード速度が 0.8〜2.4% 低下しました。これは、ミスした専門家の読み込み元が PCIe ではなく RAM であるため、スキップによる節約分以上にドラフト受信率が低下したためと分析されています。

利用者の報告 (原文抜粋)

  • Epic: Qwen3.8-Flash-Next (qwen4_exp) support, Strata as perf target Tracking epic: support Qwen3.8-Flash-Next (qwen4_exp… — jamesburton

この報告では、RAM が限られる環境（resident RAM mode）ではデフォルトを無効にするか、手動で調整する必要がある可能性が示唆されています。

Windows AMD環境で画像推論とGPUモニタリングが利用可能に

前提

Strata は AMD GPU に対しても推論をサポートしていますが、Windows 環境では画像入力（Vision）や詳細なGPUモニタリング機能が制限されていました。

何が変わったか

v0.1.42 では、Windows 上の AMD GPU（および Intel Arc）で画像入力（`--vision cpu` または `--vision gpu`）が利用可能になりました。また、Windows 環境でのGPU負荷、VRAM使用量、温度、電力、PCIe帯域のモニタリングが、ダッシュボード上で表示可能になりました。

なぜ重要か

これまで Windows + AMD GPU ユーザーは、画像処理や詳細なシステム状態の監視に制限がありました。今回の対応により、Windows 環境でも AMD GPU を本格的な推論デバイスとして活用できるようになります。

根拠のリンク

PR #1768: Windows AMD: image input on the CPU and on the GPU through Vulkan

PR #1871: Dashboard: GPU load, VRAM, temperature, power and PCIe for AMD cards on Windows

利用者の報告

本話題に関するユーザーの実測報告や問題報告は、今回のIRデータには含まれていません。

StrataのResident RAMモードに会話追従機能（STRATA_RAM_ADAPT）

前提

「Resident RAM モード」は、VRAM に収まりきらないモデルの専門家を、システムRAM（RAM）とSSD（ファイル）に分散させて保持するモードです。従来、RAM に保持される専門家は起動時に固定され、会話の中で頻繁にアクセスされる専門家がRAMから追い出され、SSDから読み込まれることがありました。

何が変わったか

新オプション `STRATA_RAM_ADAPT=` を有効にすることで、RAM に保持される専門集団が会話の流れに合わせて動的に変化します。これにより、頻繁にアクセスされる専門家がRAMに残り、SSDからの読み込みが減少します。

なぜ重要か

RAM 容量が限られる環境（例：RTX 3060 12GB + 32GB RAM）で、推論速度を 13〜16% 向上させる可能性があります。特に、長い会話や複雑なタスクにおいて、SSD読み込みのオーバーヘッドを削減できます。

根拠のリンク

PR #1838: Resident RAM mode: the RAM copy follows the conversation

利用者の報告

RTX 3060 12GB + 32GB RAM 環境での高速化

SanghunYun による報告では、RTX 3060 12GB、32GB RAM、Linux 環境（IQ2_XS モデル）で、`STRATA_RAM_ADAPT=8` を有効にした場合、デコード速度が最大 +16.4% 向上しました。具体的には、`--adapt-async 1` 設定で 35.22 tok/s から 41.01 tok/s へ、blocking 設定で 31.42 tok/s から 35.69 tok/s への改善が確認されています。

RTX 5090/5070 TiやMI50など新ハードウェアの実測報告

前提

Strata は最新の NVIDIA Blackwell シリーズ（RTX 5090/5070 Ti）や、AMD Instinct MI50 などの多様なハードウェアでの動作報告がコミュニティから寄せられています。

何が変わったか

v0.1.41 時点での実測データが多数報告されています。RTX 5090 32GB では、IQ3_S モデル使用時に 160〜195 tok/s のデコード速度が確認されました。また、AMD Instinct MI50 32GB でも、単一カードで 262,144 トークンのコンテキスト长度を処理可能であり、デコード速度は 40.7〜44.7 tok/s でした。

なぜ重要か

最新GPUの性能目安や、AMD GPU での実用的なコンテキスト長（262k）の動作確認は、ハードウェア選定や環境構築の参考になります。特に RTX 5090 のような高性能GPUでも、モデルの量子化や設定によっては 200 tok/s 前後の速度になることは、ユーザーの期待値調整に役立ちます。

根拠のリンク

Issue #1791: bench: RTX 5090 IQ3_S 262K, honest baseline 160-195 tok/s

PR #1855: bench: community results on one MI50 32 GB (gfx906), 262,144 context

利用者の報告

RTX 5090 環境での実測

Dylan997S による RTX 5090 32GB (Blackwell) + Ryzen 7 9800X3D 環境での報告では、IQ3_S モデル使用時のデコード速度は 162.5 tok/s (短文) 〜 195.8 tok/s (コールドプロンプト) でした。また、ronny332 からのコメントでは、同様の RTX 5090 環境（DDR4 3600, Ryzen 5950X）でも 160〜190 tok/s 程度で、環境差は小さいと報告されています。ただし、IQ3 モデルではコード生成品質に課題があるため、IQ4_XS モデルでは 110〜130 tok/s だが品質は向上していると述べられています。

AMD Instinct MI50 での動作

phoenixclyde による AMD Instinct MI50 32GB (gfx906) の報告では、単一カードで 262,144 トークンのコンテキストを処理可能でした。デコード速度は 40.7〜44.7 tok/s で、`--kv` 4-bit 設定によりデコード速度が 7.7% 向上し、キャッシュヒット率が 3.4〜7.7 ポイント向上したと報告されています。

Windows AMD (RX 7900 XTX) での最適化

twining69-tech による Windows 11 + RX 7900 XTX 24GB (gfx1100) の報告では、`START-HERE.bat --calibrate` を実行することで、デコード速度が約 15% 向上したと報告されています。これは、Windows AMD 環境でもキャリブレーション機能が有効に機能することを示しています。

WebチャットUIに数式表示（MathJax/KaTeX）サポート追加

前提

Strata の Web チャットインターフェースでは、従来、数式（LaTeX）が正しく表示されないという課題がありました。

何が変わったか

v0.1.42 では、Web チャットUIに数式表示サポートが追加されました。MathJax 4.1.3 または KaTeX 0.19.0 をローカルにバンドルし、`Render math` オプションを有効にすることで、インライン数式と表示数式がレンダリングされます。デフォルトでは無効化されており、必要に応じて有効にする必要があります。

なぜ重要か

数学や科学技術系のコンテンツを扱う際、数式が正しく表示されることで、ユーザー体験が向上します。特に、ローカル環境でオフラインに数式を表示できる点は、プライバシーやネットワーク制約のある環境で有利です。

根拠のリンク

PR #1832: Add locally bundled MathJax rendering to web chat

PR #1830: Add locally bundled KaTeX rendering to web chat

利用者の報告

本話題に関するユーザーの実測報告や問題報告は、今回のIRデータには含まれていません。

出典

【宣伝】SwitchBot 購入はこちらから

SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。
製品ごとの特徴・紹介動画は SwitchBot 製品ガイド にまとめています。