【技術Tips】12GB VRAMで125Bの巨大LLMを動かす！AI推論エンジン「Strata」導入・活用ガイド

2026/10/27

ローカル環境で100B（1000億）パラメータを超える大規模言語モデル（LLM）を動かす場合、これまでは「いかに巨大なVRAMを積むか（マルチGPUやMac Studioの導入など）」が最大の壁でした。

しかし、オープンソースのAI推論エンジン「Strata」の登場により、その常識が変わりつつあります。StrataはGPUのVRAMだけでなく、CPU・システムRAM・NVMe SSDを階層的（Strata＝地層・階層）にフル活用することで、RTX 5070（12GB VRAM）のような一般的なコンシューマ向けGPUでも、125B規模のMoE（Mixture of Experts）モデルを高速に動作させることができます。

本記事では、Strataが巨大モデルを動かせる仕組みから、実践的なセットアップ手順、メモリ容量別のチューニングTipsまでを解説します。

なぜ12GB VRAMで「125Bモデル」が動くのか？

現在Strataがメインターゲットとしている「Qwen3.8-Flash-Next（125B）」のようなMoEモデルは、総パラメータ数は巨大ですが、1回の推論（トークン生成）ごとにすべての領域（Expert）を使うわけではありません。Strataはこの特性を突き詰め、PC内のハードウェアリソースに役割を分担させています。

リソース階層配置されるデータ・役割処理の特徴 VRAM (GPU) Attention、Router、KV Cache、高頻度Expertのキャッシュ最も計算負荷が高く毎回使われる部分と、よく呼ばれるExpertをGPUで高速処理 RAM (CPU) 通常頻度のExpert VRAMに収まらないExpertを保持。CPU（AVX2）で直接計算するか、必要に応じPCIe経由でGPUへ転送 NVMe SSD 大容量Lookup Table メモリを圧迫する巨大なテーブルを配置し、必要な部分だけをオンデマンドで読み込み

さらに、モデル自身が持つMTP（Multi-Token Prediction）層を活用した投機的デコード（Speculative Decoding）を組み合わせることで、複数トークンを先読みして一括検証し、通常の生成と比較して約1.6〜1.8倍の高速化を実現しています。

推奨スペックと実際の推論パフォーマンス

「動く」だけでなく「実用的な速度が出る」のがStrataの大きな特徴です。

推奨ハードウェア環境

⚬ GPU: NVIDIA RTX 20 / 30 / 40 / 50シリーズ ⚬ VRAM: 12GB以上推奨（8GBでも動作可能ですが速度は低下します） ⚬ システムRAM: 64GB推奨（後述のTipsにより32GBでも対応可） ⚬ CPU: AVX2対応のx86-64プロセッサ ⚬ ストレージ: NVMe SSD（モデル保存用に70〜120GB程度の空き容量が必要） ⚬ OS: Windows 10 / 11、または Linux

ベンチマーク目安（RTX 5070 12GB + Ryzen 5 7600 + 64GB RAM）

Qwen3.8-Flash-Next を実行した場合の生成速度（公開ベンチマーク値）は以下の通りです。

⚬ Q2_0: 約93 tokens/s（128Kコンテキスト時：約74 tokens/s） ⚬ IQ2_XS（推奨）: 約79 tokens/s（128Kコンテキスト時：約63 tokens/s） ⚬ IQ3_XXS: 約62 tokens/s（128Kコンテキスト時：約49 tokens/s） ⚬ IQ3_S: 約53 tokens/s（128Kコンテキスト時：約46 tokens/s）

12GBのVRAM環境でありながら、128Kという超長文コンテキストでも45〜70 tokens/s以上の実用的な速度を維持できています。

クイックスタート：導入とAPI連携

セットアップはスクリプト化されており、対話形式で簡単に環境構築が完了します。

Step 1: インストールと起動

GitHubからStrataのリポジトリを取得し、OSに応じたスクリプトを実行します。

⚬ Windows: START-HERE.bat を実行 ⚬ Linux: ./setup.sh を実行

初回起動時のウィザードで「モデル」「量子化形式」「コンテキスト長」「画像入力の有無」を選択すると、必要な環境とモデルの準備が自動で行われます。

Step 2: Web UIとリソースモニターの確認

起動後、ブラウザで http://127.0.0.1:8080 にアクセスするとWeb UIが利用できます。通常のチャット画面に加え、Monitor機能が搭載されており、GPU/CPU使用率、VRAM/RAM消費量、PCIeの通信帯域、生成速度（tokens/s）をリアルタイムで可視化できます。

Step 3: 外部ツール・エージェントからのAPI利用

StrataはローカルAIサーバーとして、OpenAI互換API（http://127.0.0.1:8080/v1）および Anthropic Messages互換API を標準提供しています。

from openai import OpenAI

client = OpenAI( base_url=“http://127.0.0.1:8080/v1”, api_key=“none”, # ダミー文字列でOK )

response = client.chat.completions.create( model=“strata”, messages=[ {“role”: “user”, “content”: “Pythonでテトリスを作って”} ], )

print(response.choices[0].message.content)

Anthropic互換APIにも対応しているため、Claude CodeやCline、Cursorといったコーディングエージェントのバックエンドとしてそのまま接続可能です。

実践Tips：環境に合わせてStrataを最適化する3つのコツ

実際に手元のPCで運用する際におさえておきたいポイントです。

💡 Tip 1: 量子化に迷ったら「IQ2_XS」を選ぶ

公式でも推奨されている通り、速度と出力品質のバランスが最も優れているのが IQ2_XS です。さらに速度を優先したい場合は Q2_0、少しでも精度を引き上げたい場合は IQ3_XXS や IQ3_S を試すとよいでしょう。

💡 Tip 2: RAMが32GBしかない場合は「Coder版」を使う

通常版の Qwen3.8-Flash-Next は、Q2_0 でも約34GBのシステムRAMを消費するため、32GB環境ではメモリ不足（スワップ発生による激重化）に陥ります。そこで32GB〜48GB RAMの環境向けに、「Qwen3.8-Flash-Next Coder」が用意されています。

⚬ 仕組み: 雑談や一般知識に関わるExpertを削り、コード生成やツール利用に重要なExpert約半分だけを残すことで、メモリ使用量を約29.6GB（Shard 1）に抑えています。 ⚬ 使い分け: 32〜48GB RAMなら「Coder版」で開発特化、48GB〜64GB以上なら「通常版（IQ2_XS）」で汎用利用、と切り分けるのがベストプラクティスです。

💡 Tip 3: PCIe帯域とCPUメモリの速度を意識する

StrataはCPUでの計算とPCIe経由のデータ転送を頻繁に行うため、GPU単体の性能だけでなく、メインメモリの帯域幅（DDR5のデュアルチャネル等）やマザーボードのPCIe世代（Gen4 / Gen5）が推論速度に直結します。Web UIのMonitor画面を見てPCIe通信がボトルネックになっている場合は、コンテキスト長を少し絞ることでVRAM内のキャッシュヒット率を高めることができます。

まとめ

これまでのローカルLLM運用は「手元のVRAM容量に収まるモデルを探して妥協する」のが一般的でした。Strataは、PC全体のアーキテクチャ（VRAM・RAM・SSD・CPU）を総動員することで、その限界を突破するアプローチを示しています。

手元に12GB以上のNVIDIA GPUと32GB〜64GBのメモリを積んだゲーミングPCやワークステーションがあれば、100B超えの別次元の知能をローカルかつ無料で動かせます。ぜひ手元の環境で試してみてください。