AI
AIの量子化とは？ — モデルを「軽く」しても賢さが落ちにくい理由を実数値で見る
2026/03/20
1. 量子化とは何をしていることなのか
大規模言語モデル（LLM）は、内部に数十億〜数千億個の「重み（weight）」と呼ばれる数値パラメータを持っている。学習直後のモデルは、これらの重みを16ビットの浮動小数点数（FP16など）で表現しているのが一般的だ。
量子化（Quantization）とは、この重みの数値表現に使うビット数を減らし、モデルのファイルサイズと計算に必要なメモリ量を削減する技術である。16ビットで表現していた重みを8ビット、4ビット、あるいはそれ以下のビット数に丸め込むことで、同じモデルでも必要なストレージ・メモリ容量が大きく減る。
2. 実数値で見る：Llama-3.1-8B-Instructの場合
抽象論だけでは実感が湧きにくいので、広く使われているオープンモデル「Llama-3.1-8B-Instruct」を対象に、量子化レベルごとのファイルサイズと精度低下（パープレキシティの上昇）を実測した研究結果を見てみたい。パープレキシティは「モデルがどれだけ次の単語をうまく予測できるか」を示す指標で、数値が小さいほど性能が良いとされる。
| 量子化レベル | 1重みあたりのビット数 | ファイルサイズの目安 | 精度への影響 |
|---|---|---|---|
| FP16（無圧縮） | 16ビット | 約14GB | 基準値 |
| Q8_0 | 8.5ビット | 約8.5GB | パープレキシティ+0.01前後。ほぼ無劣化とされる |
| Q4_K_M | 4.8ビット | 約4.1GB | パープレキシティ+0.05前後（7Bクラスでの実測値）。実用上ほぼ気づかない水準 |
FP16からQ4_K_Mへの量子化で、ファイルサイズは約3分の1以下に縮む一方、精度への影響は「1%未満の劣化」にとどまるという評価が、こうしたベンチマークで繰り返し報告されている。これが、「量子化してもモデルはそこまで馬鹿にならない」という主張の具体的な根拠である。
3. なぜ精度を落としても「賢さ」が大きく損なわれないのか
直感的には、数値の精度を落とせばモデルの性能も比例して落ちそうに思える。しかし実際には、多くのケースで4ビット程度までの量子化であれば、性能の劣化はごくわずかに抑えられることが知られている。
理由はいくつかある。第一に、ニューラルネットワークの重みには元々一定の「冗長性」があり、多少の数値誤差があっても全体の出力にはあまり影響しない構造になっていることが多い。第二に、量子化の手法自体が年々洗練されており、単純にビット数を減らすのではなく、重みをグループ単位でスケーリングしたり、誤差が大きくなりやすい重要な重みだけ高い精度を保つ（インポータンス・マトリクスと呼ばれる手法など）、といった工夫が広く使われている。研究によれば、この重要度に応じた補正は、Q4_K_M以上の量子化レベルでは効果が限定的である一方、3ビットを下回る領域では精度維持に不可欠になるとされている。
4. 量子化の主な手法・呼び方
- PTQ（Post-Training Quantization）: 学習が完了したモデルに対して、後から量子化を適用する手法。手軽だが、極端に低いビット数では精度劣化が大きくなりやすい。
- QAT（Quantization-Aware Training）: 学習の段階から量子化を前提としたシミュレーションを行い、量子化後の精度劣化を抑え込む手法。手間はかかるが、低ビットでも高い性能を保ちやすい。
- GGUF形式の量子化タグ（Q4_K_M、Q8_0など）: ローカルLLM実行環境（llama.cppなど）でよく見かける表記。上の実測値が示す通り、Q4_K_Mはサイズと精度のバランスが良く、2026年時点でOllamaをはじめとする主要な配布プラットフォームが標準（デフォルト）として採用する、事実上の業界標準になっている。
- 1ビット・三値量子化（ternary/1-bit系）: 重みを
-1, 0, +1のようなごく少数の値に極限まで圧縮する、より攻めた手法。専用のハードウェア最適化と組み合わせることで、極端な軽量化を狙う研究が近年活発になっている（詳しくは本誌「Bonsai2の約1.76bit量子化」を参照）。
5. 実務での見極め方
量子化モデルを選ぶ際は、「ビット数が低いほど軽くて速いが、タスクによっては誤りが増える」というトレードオフを常に意識する必要がある。上記の実測値が示すように、Q4_K_Mまでであれば多くのタスクで実用上の差は小さいが、厳密な数値計算やコード生成のように「わずかな誤りが致命的になる」タスクでは、それでも量子化レベルを下げすぎると実用に耐えないケースが出てくる。逆に、要約や雑談のような多少の揺らぎが許容されるタスクでは、より大胆な量子化でも実用上問題にならないことが多い。自分のユースケースに応じて、パープレキシティのような客観指標と、実際のタスクでの体感の両方を確認して選ぶことが、遠回りに見えて最も確実な方法になる。