山村商店

Strata v0.1.44：Unsloth量子化対応とAMD/Arc高速化、v0.1.43.1のデコード遅延を修正

StrataローカルLLMQwenGPULLM

目次
  1. 今回の要点
  2. Unsloth量子化ファイルのサポート拡充
  3. v0.1.43.1のデコード遅延とキャッシュ不具合の修正
  4. AMD/Arc対応の拡充
  5. レイヤ分割自動順序のバグ修正（続報）
  6. 出典

Strataは、Niko1221 (@coldniko) が開発するQwen3.8-Flash-Next (125B MoE) を8GB以上のNVIDIA GPUとシステムRAMで動かすローカル推論エンジン。OpenAI/Anthropic互換APIを提供し、MITライセンスで公開されている。

今回の要点

  • Unsloth量子化の正式対応： v0.1.44より、UD-Q4_K_XL、UD-Q5_K_XL、UD-Q6_K_XL、Q8_0がセットアップで選択可能に。特にUD-Q4_K_XLは64GB RAM環境でデコード速度が最大1.40倍に向上。
  • AMD/Arc高速化： Radeon 780M (gfx1103) 向け最適化と、Arc AシリーズカードでのマルチGPU高速化が実装された。
  • v0.1.43.1の修正： 2×RTX 3090環境で発生していたデコード速度の20%低下や、キャッシュ読み込みの非効率な問題が修正された。
  • EOSトークン文字列のバグ修正： 生成テキストにEOSトークン文字列が含まれると出力が途切れる不具合が修正された。

Unsloth量子化ファイルのサポート拡充

Strata v0.1.44では、Unsloth形式の量子化ファイル（UD-Q4_K_XL、UD-Q5_K_XL、UD-Q6_K_XL、Q8_0）がセットアップで標準的な選択肢として提供されるようになった。これらはサイズとSHA-256で固定され、UD-IQ4_XSと共に選択可能だ。

特に重要なのは、UD-Q4_K_XLが実験的ではなくなり、かつNVIDIA限定ではなくなった点だ。64GBのPCでUD-Q4を使用する場合、旧ルールでは避けていた設定でも、すべてのエキスパートをRAMに保持できる。その結果、デコード速度は1.34〜1.40倍に向上し、4Kプロンプトでは2.07倍の高速化が確認されている。また、これらのファイルでは画像生成がデフォルトで有効になる。

Q8_0との品質比較（4,995教師強制位置）では、UD-Q6_K_XLとUD-Q5_K_XLは上位トークンで94.6%の一致率（平均KL 0.033/0.038）を記録。UD-Q4_K_XLも93.1%（0.056）と高品質を維持している。速度面では、R9700（全エキスパートRAM保持）でUD-Q4_K_XLはストーリーで63 tok/s、コードで85-88 tok/sを達成。同じ環境のllama.cpp（16-20 tok/s）を大きく上回る。

詳細は Strata v0.1.44 リリースノート を参照。

利用者の報告

RTX PRO 5000 Blackwell 72GB（VRAM 72GB、300W電力制限あり）環境で、Qwen3.8-Flash-Next IQ3_S（46.84 GiB）を全エキスパートRAM保持で動かした jiangpedro 氏は、VRAMミスゼロで動作したと報告している。電力制限によりSMクロックが2610MHzから約2250MHzに低下するものの、Strata 0.1.42での実測では安定した動作を確認している。

AMD Radeon RX 6700 XT（VRAM 12GB）環境で、Qwen3.8-Flash-Next IQ3_XXSを動かした germane4oss 氏は、524,288トークンのコンテキストで推論可能であることを確認している。ただし、この環境では速度のみで正誤チェックは行われていない。

v0.1.43.1のデコード遅延とキャッシュ不具合の修正

v0.1.43.1では、2×RTX 3090（48GB）環境でデコード速度がv0.1.43比で約20.5%低下する問題が報告されていた。また、STRATA_ADAPT_OVERLAP=1を設定してもオーバーラップが有効にならない（「off: not on a layer split」）という現象も確認されていた。

v0.1.44では、このデコード遅延問題が修正された。また、v0.1.43.1で発生していた会話キャッシュの非効率な読み込み問題（32,768トークン間隔のチェックポイントへのフォールバックにより、4-17秒のTTFT遅延が発生）も修正されている。これにより、プロンプトが純粋な追加（appends）の場合でも、不要なトークンの再読み込みが回避される。

さらに、生成テキストにEOSトークン文字列（）が含まれると、エンジンが即座に生成を停止し、回答が途切れるバグも修正された。これはv0.1.43.1で修正された<|end|>文字列とは異なる問題だった。

これらの修正詳細は Strata v0.1.44 リリースノート を参照。

利用者の報告

2× RTX 3090（sm_86）、Debian 13、CUDA 13.4.92環境で、Qwen3.8-Flash-Next UD-Q4_K_XL（103.69 GiB）を動かした ben0112 氏は、v0.1.43.1でデコード速度がv0.1.43比で20.5%低下し、STRATA_ADAPT_OVERLAP=1が機能しないことを報告した。開発者の Niko1221 氏は、この環境ではオーバーラップがそもそも動作していないことを確認し、v0.1.43でも同様のログ出力があったと説明。2× RTX A4000環境ではv0.1.43、v0.1.43.1ともに0.6%以内の誤差で同等の速度であることを報告している。

2× RTX 2080 Ti（sm_75）環境で、Qwen3.8-Flash-Next IQ3_XXSを動かした ifdog 氏は、デコード速度が約8-10 tok/sに留まる問題を報告。GPU0のGDNレイヤーで「hc0 norm」処理に135-213 ms/windowがかかり、GPU1の0.05-0.22 ms/windowとの大きな差が生じていることを特定している。これはv0.1.44で修正される予定の問題だ。

2× NVIDIA L20 48G環境で、Qwen3.8-Flash-Next UD-Q4_K_XLを動かした tspine 氏は、生成テキストにEOSトークン文字列が含まれると回答が途切れる問題を報告。v0.1.43.1では修正されなかったため、v0.1.44へのアップグレードが必要だと指摘している。

RTX 4090D 48GB、Windows 11環境で、Qwen3.8-Flash-Next GSQ-RCO IQ3_XXSを動かした ユーザー は、v0.1.43.1で会話キャッシュが粗いチェックポイント（32,768トークン間隔）にフォールバックし、3.5時間で13回、6.8K-47Kトークンの再読み込み（4-17秒のTTFT遅延）が発生したと報告。プロンプトが純粋な追加の場合でも、この問題が発生していた。

AMD/Arc対応の拡充

v0.1.44では、AMD Radeon 780M（gfx1103、RDNA3）向けにhipBLASLtのチューニングテーブルが追加された。これにより、プロンプトの密なGEMM演算がplain hipBLASではなく最適化されたhipBLASLtで実行されるようになり、速度が大幅に向上する。また、gfx1103向けにネイティブdot4とWMMAカーネルが有効化され、量子化ドット積の高速化が図られた。

Arc AシリーズカードでもマルチGPUでの高速化が実装された。これにより、AMDとNVIDIAの混在環境や、複数のAMDカードを使用する場合の性能が向上している。

詳細は PR #2303、PR #2302 を参照。

利用者の報告

AMD Radeon 9600 XT（gfx1200、VRAM 16GB）、Ryzen 7 5700X、Linux環境で、Qwen3.8-Flash-Next Coder IQ1_Mを動かした BOFH2k 氏は、65,536トークンのコンテキストで推論可能であることを報告している。ただし、速度のみで正誤チェックは行われていない。

AMD Radeon RX 9060 XT（gfx1200、VRAM 16GB）、Ryzen 7 9700X、Linux Proxmox CT環境で、Qwen3.8-Flash-Next IQ3_SとIQ3_XXSを128Kコンテキストで動かした Gerporgl 氏は、131,072トークンのコンテキストで推論可能であることを報告している。電力制限（112W GPU）下での動作を確認している。

AMD Radeon RX 6700 XT（VRAM 12GB）、Ryzen Threadripper 3970X、Linux環境で、Qwen3.8-Flash-Next IQ3_XXSを524,288トークンのコンテキストで動かした germane4oss 氏は、速度のみで正誤チェックは行われていないが、推論可能であることを報告している。

レイヤ分割自動順序のバグ修正（続報）

v0.1.41で導入された自動カード順序機能は、VRAM非対称のGPUペア（例：12GBの高速カード＋22GBの低速カード）で性能劣化を引き起こすバグがあった。v0.1.41では、高速だがVRAMが少ないカードが最後のステージ（head/draft）を担当することになり、VRAMが枯渇してエキスパートキャッシュが機能しなかった。

v0.1.44では、この自動カード順序のバグが修正された。VRAM非対称ペアでも、適切なカード順序でレイヤ分割が行われるようになり、性能劣化が回避される。

詳細は Issue #1576 を参照。

出典

【宣伝】SwitchBot 購入はこちらから

SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。
製品ごとの特徴・紹介動画は SwitchBot 製品ガイド にまとめています。