Research

ベンチマーク飽和後もモデル能力は推定できる――トランスクリプト分析の可能性と限界

2026/10/18

ベンチマーク飽和という構造的な問題

LLM（大規模言語モデル）の能力向上ペースが加速するにつれ、多くの標準ベンチマークで「飽和」が起きている。複数のモデルが満点に近いスコアをマークし始めると、そのベンチマークはもはやモデル間の差異を識別できなくなる。これはAI安全性評価や規制政策の立案において深刻な問題となる。

LASR Labs、ELLIS Institute Tübingen、Max Planck Institute for Intelligent Systems、Generality Labs、UK AISI などの研究者グループが共同でまとめた論文（arXiv:2610.20667）は、この問題に対して新たな視点を提示している。スコアという単一の数値だけを見るのではなく、モデルが問題を解く過程の全記録（トランスクリプト） に注目することで、飽和後のベンチマークからも能力評価の信号を引き出せるかどうかを検証した。

研究の設計：過去リリースを使った後向きシミュレーション

研究チームは、ベンチマーク飽和を「現在から振り返る形」で再現することで実験を設計した。モデルのリリース時期を半年単位の「セメスター」に分割し、前の期間のモデル群を「参照セット」、次の期間のモデル群を「ターゲットセット」として扱う。

各ターゲット期において、参照セット内の上位3モデルが全問正解した問題群を「飽和セット」、それ以外を「未飽和セット」と定義する。プロトコル（能力推定手法）には飽和セットの正解トランスクリプトのみが与えられ、未飽和セットのスコアから算出した「真の能力値」を予測できるかどうかが評価される。

能力の地上真値（グラウンドトゥルース）の算出には項目反応理論（IRT）を用い、モデルの能力と問題の難易度を同時推定している。実験は科学・数学・コーディング・サイバーセキュリティの4ドメインにわたり、GPQA-Diamond、AIME、SWE-Bench、CyBench など計11のベンチマークが使われた。

評価した4つのプロトコル

論文が比較した手法は次の4種類だ。

トランスクリプト特徴量：応答の長さや文章構造など決定論的に計算できる特性を用いた予測
トランスクリプト埋め込み：テキスト埋め込みモデルで表現したベクトルを用いた予測
絶対スコアリング：LLMによる一つのトランスクリプトへの絶対的スコア付け
ペアワイズ評価（Pairwise Judging）：2つのトランスクリプトをLLMジャッジが比較し、相対的な能力差を推定

ベースラインは「全モデルに参照セットの平均能力値を割り当てる」という最も単純な手法で、スコアが飽和しているため正解率は一切使えない状態を想定している。

主要な結果

ペアワイズ評価が圧倒的に優れる

論文によれば、ペアワイズ評価が最も正確な予測を示し、ベースライン比で予測誤差を5.27倍低減した（MSE=0.26、95% CI: [0.18, 0.34]、p=.005）。この結果はジャッジとして使用するモデルを変えても再現されたと報告されており、参照モデルと比較アイテムの数を増やすことで精度がさらに向上する傾向も観察されたという。

一方、トランスクリプト特徴量・埋め込み・絶対スコアリングの3手法は、ベースラインより低い誤差を示す傾向はあったものの、統計的に有意な改善には至らなかったと著者らは記している。応答長や文体といった表面的特徴に能力差の信号が乗っているわけではなく、より深い比較的分析が必要であることが示唆されている。

能力情報はトランスクリプト全体に分散し、特定チャネルに集中する

次に「トランスクリプトのどの部分に能力の信号があるか」を分析した。トランスクリプトを3分割して1区画を除去しても予測精度は大きく落ちないことから、有用な情報は応答全体に分散していると考えられる。

ただし、情報の「チャネル」（種類）によってドメインごとに重要性が異なる点も明らかになった。推論過程（Reasoning）を隠すとコーディング・サイバーセキュリティ・科学ドメインで予測誤差が約3〜4倍に増大する。また、ツール呼び出しを隠すとサイバーセキュリティで約4倍の誤差増加が生じる一方、コーディングへの影響はほぼないとされている。

分布シフトへの頑健性には限界がある

論文で最も重要な注意点として指摘されているのが、プロトコルが全ての分布シフトに頑健なわけではないという点だ。2024年後半のモデルを参照として訓練されたペアワイズ判定器は、2025年初頭に登場した最初の「推論モデル（Reasoning Model）」の能力を過小評価してしまったと報告されている。推論トレースという新たな情報チャネルがモデルのアーキテクチャに加わるような変化（パラダイムシフト）が起きると、既存プロトコルが追いつけない可能性があることを示している。

AI安全性評価への含意

新しいベンチマークを開発・検証するには多大なコストと時間がかかる。既存ベンチマークのトランスクリプトから能力信号を引き出す手法が確立されれば、ベンチマーク更新が追いつかない状況でも能力評価を継続できる可能性がある。

著者らは「飽和したベンチマークには依然として能力予測シグナルが残っている」と結論付ける一方で、「既存ベンチマークの寿命を延ばすには、こうした信号をロバストに抽出する専用の手法が必要」とも強調している。特にパラダイムシフトを伴う新世代モデルへの適応は今後の研究課題として残されている。

論文は arXiv（arXiv:2610.20667）で公開されている。

出典: Evaluating Model Capabilities After Benchmark Saturation