TIP
メニュー
EN
← 記事

開発

ローカルLLMに出来るモデル、8GB GPU編 — 実際に動かすまでの具体的な手順と数字

2026/08/29

1. まず押さえるべき計算式

ローカルでLLMを動かす際、GPUのVRAM容量が最大の制約になる。目安として、パラメータ数と量子化レベルから必要なVRAM容量をおおよそ逆算できる。

4ビット量子化（Q4_K_M、1重みあたり約4.8ビット）の場合、実測値では70億パラメータ（7B）クラスのモデルの重みは約4.1GB前後に収まる（詳しくは本誌「AIの量子化とは？」の実数値を参照）。ここに、会話履歴などを保持する「KVキャッシュ」や実行時のオーバーヘッドが加わるため、8GBのVRAMに収めるなら、7B〜9Bクラスのモデルを4ビット量子化で動かすのが現実的な上限ラインになる。

2. 実際に動かす手順（Ollamaを使う場合）

最も手軽に始められる方法の一つが、ローカルLLM実行ツール「Ollama」を使う方法だ。具体的な手順はごくシンプルである。

  1. Ollamaの公式サイトからインストーラーをダウンロードし、インストールする
  2. ターミナルで対象モデルを指定してコマンドを実行する（例: ollama run qwen3:8b）
  3. 初回実行時に、指定した量子化済みモデル（多くの場合Q4_K_M相当がデフォルト）が自動的にダウンロードされる
  4. ダウンロード完了後、そのままターミナル上でチャット形式のやり取りが始まる

より細かく量子化レベルを指定したい場合や、Ollamaが未対応の最新モデルを試したい場合は、llama.cpp本体や、GGUF形式のモデルファイルを直接読み込める「LM Studio」のようなGUIツールを使う方法もある。いずれの場合も、Hugging Face等で配布されているQ4_K_M表記のGGUFファイルを選べば、8GB環境向けの妥当な出発点になる。

3. 8GB GPUで動く代表的な選択肢

2026年時点で、8GB VRAM環境向けとしてよく名前が挙がるモデル群は次のようなものだ。

  • Qwen3系（8B前後）: 推論力と指示追従性のバランスが良く、8GB環境での定番の選択肢としてしばしば紹介されている。4ビット量子化でVRAMに収まりやすい。
  • Gemma系（2B〜4Bクラス）: よりコンパクトなサイズで、余裕を持ってVRAMに収まる。処理速度を優先したい場合や、他の処理と並行してGPUを使いたい場合に適している。
  • Phi系の小型モデル（Miniクラス）: 少ないパラメータ数でも実用的な指示追従性を持たせることを狙ったモデル群。軽量さを重視する用途で選択肢に挙がる。
  • DeepSeek-R1の蒸留モデル: 大規模な推論特化モデルの能力を、より小さなモデルに「蒸留」して移植したもの。推論過程を明示的に出力するタイプのタスクで選ばれることがある。

これらはいずれも執筆時点で比較的新しいモデル群であり、リリースの入れ替わりが速い分野であることには注意したい。実際に導入する際は、必ず最新のベンチマークとコミュニティの実測レポートを確認することを推奨する。

4. 「動く」と「快適に使える」の違い

VRAMに収まりさえすれば動くが、実用上のストレスなく使えるかどうかは別問題だ。特に影響が大きいのが、KVキャッシュの容量を左右する「コンテキスト長（一度に扱える文章量）」である。8GB環境で7B級モデルを4ビット量子化で動かした場合、実用的なコンテキスト長はおよそ4,000〜8,000トークン程度に収まることが多いとされる。長文の要約や、大量のコードベースを一度に読み込ませるような用途では、この制約が実際のボトルネックになりやすい。

Ollamaを使う場合、num_ctxパラメータでコンテキスト長を明示的に指定できる。デフォルト値のまま使うと想定より短いコンテキストで動作することがあるため、長文を扱いたい場合は明示的に拡張し、その分VRAMに余裕を持たせる設定にしておく必要がある。

5. 選び方の実務的な指針

  1. タスクを先に決める: チャットボット的な対話なのか、コード生成なのか、要約なのかによって、適したモデルサイズ・量子化レベルは変わる
  2. 量子化レベルはQ4_K_Mを起点にする: 2026年時点で、性能とサイズのバランスが良い「事実上の標準」として扱われることが多い
  3. KVキャッシュ分の余裕を必ず残す: モデル本体のサイズだけでVRAMを使い切る設定にしない。目安として、モデル本体サイズ＋1〜2GBの余裕を見ておく
  4. 複数モデルを実際に試す: ベンチマーク上の数値と、自分の実際のタスクでの体感は一致しないことが多い

8GBというVRAM容量は、2026年時点でも「本格的なローカルLLM運用の最小ライン」として扱われることが多い水準であり、モデル選定さえ適切に行えば、日常的な開発補助や文章作成の用途には十分実用的な速度・精度が得られる。