780MでのLLM運用 Qwen3.5

今まではQwen3 30B A3Bをllama.cpp×Vulkanで運用

入れたのが昔の話なので恐らくQ4_K_Mで入れていたと思う。A3BというMoEモデルと言うことで思った以上に使えている。裏で動かして処理に使っていたのであまり速度で不満は無かった。ただ、速かったかと言われればそうでもないが、気になるほどの速度ではないという話。

ではQwen3.5では？

27Bがすごいという情報だけで何も考えずに入れてみる。これが全く動かないというレベルで遅い。ここで、改めてA3Bの速度に気が付く。27Bそのままと言うのは流石に無理があった。しかも780Mと言うことでCUDAですらないのはさらに問題。やはり速度が出ない前提でやらざるを得ない。

と言うことはA3B以外の選択肢がない。そして、サイズ的にQwen3.5-35B-A3B以外考えられない。問題はどの量子化サイズで攻めるかと言う話。今VRAMは32GBで作成（K12 96GBの最大設定）。Q4_K_Mをとりあえず使ってみるが、ACE-Step1.5も780MのVRAMを使用することを考えると正直大きすぎるかもしれない。ここら辺はもう少し使っていきながら見ていきます。

VLモデルとしても使えるのでこちら一本に統一することにするが、VLモデルとMoEモデルの問題点が解消されていない気がする。VRAM使用での問題はまだ修正されては無いと思うが、そうであればギリギリの使用をしているとサーバーがクラッシュする。その場合どうするかはまた考えるしかない。Qwen3 VL 2Bを追加で使用してQwen3.5-35B-A3Bをテキスト処理専用に使用する形が安定しそうだが、こちらは様子見と言うことで。もっと小さい量子化モデルでVRAMに余裕持たせる方向でも良いかもしれない。

まとめ

とりあえずしばらく使ってみる。LLMとしての性能はしばらく使ってみてと言うことになると思うが、サーバークラッシュが起きなければとりあえずテキストモデルとVLモデルが一つになるということで十分意味がある。

大きいセールがある場合はAmazonもしくは楽天から購入するとお得です。
買い物情報はこちらからご確認ください。気分で紹介しています。

アリエクのクーポン情報もまとめています。こちらをご覧ください。

当ページにはアフィリエイトリンクを含む場合があります。