農家がローカルLLMを使う前に頭の中をまとめておく

目次

1. CPUとGPUの違い
2. dGPU（グラフィックボード）
3. iGPU（内蔵グラフィックボード）
4. CPU
5. まとめ
6. SwitchBot 購入はこちらから

このページを見に来るような人はローカルLLMに関してもうご存じかも知れないが、具体的に何に気を付けないといけないとか細かい部分が分かり難い部分有るのでまとめておく。

CPUとGPUの違い

CPUは天才の少数精鋭部隊
GPUは普通の人の大軍団

LLMの処理にはとにかく大量の単純計算が必要となるのでGPUが向いているという話。

dGPU（グラフィックボード）

よくAI処理にはグラボが必要、GPUの性能もだがVRAMの量も重要と言われる。それはLLMのモデルがVRAMに入るか入らないかで話が大きく変わるからである。

GPUが速度が出るといわれるのはGPUの処理速度が速く、高速で接続されているVRAMにデータを置いているから。もし、VRAMを溢れてしまうとPCIe接続でメインメモリにアクセスしないといけなくなるのだが、ここが大きなボトルネックとなる。この制約からVRAMがモデル選択のキーとなるが、ある程度のサイズのVRAMを持つGPUは高価なのが痛い。

と言うことで、安いグラボは大きいモデルを使えず、ある程度のサイズのVRAMを持つGPUは高価だということで。

iGPU（内蔵グラフィックボード）

ミニPCやノートPCはCPUにグラフィックボードが内蔵されています。この場合、VRAMは無くメインメモリをVRAMとして使用するのですが、ここでのポイントは容量が確保しやすいことと、PCIeのオーバーヘッドが存在しないことです。

もちろんdGPUに比べるとiGPUの性能はそこまでではありませんが、メインメモリと接続と言うPCIeに比べればぼちぼち速い速度でアクセスできるので使いようによっては使えるレベルだと信じています。信じています。

なお、結構早いiGPU内蔵のGMKtec EVO-X2や、ユニファイドメモリでメモリアクセスが爆速なMACの上位モデルは別格です。

CPU

CPUがLLMの処理に向いていないのはGPUと比べてと言う話で、昨今の高速CPUであれば小さいモデルであれば案外動いてくれます。これはGPUが内蔵だろうとグラフィックボードだろうと関係なく同じです。ただ、意図してメモリを積んでなければ余裕が無いということもあるかもしれませんが、ただ、大きいモデルは苦しくなるだろうから小さいモデルを使うとするならば、メモリには悩まないかもしれません。

まとめ

dGPUが速いのは分かっているが、メモリをマックス（96GB）まで積んだGMKtec K12でiGPUとCPUを酷使して、ぼちぼちの速度でそこそこ推論レベルのLLMをのんびり使うという作戦が吉と出るか凶と出るか？そもそも設定しきるのか？よく分からないという話。

SwitchBot 購入はこちらから

SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。

大きいセールがある場合はAmazonもしくは楽天から購入するとお得です。