テスト時推論の計算コストを最大30%削減——信頼度キャリブレーション付き推論拡張コントローラー

テスト時推論の「やめどき」を学習する——3アクション計算コントローラー

シンガポール国立大学のWeida LiangとKenji Kawaguchiは、大規模言語モデル（LLM）のテスト時推論において計算コストを削減しながら精度を維持する手法を提案した。論文「Confidence-Calibrated Inference Expansion for Evaluator-Guided Test-Time Reasoning」（arXiv:2610.20836）として公開されており、評価器（evaluator）に誘導される推論を「不確実性下の資源配分問題」として定式化している点が特徴だ。

問題設定——推論の「今すぐ止まるか、続けるか」

近年のLLM推論システムでは、検証器やリワードモデルによって候補を再ランク付けしたり、批評フィードバックに基づいて草稿を改訂したりする手法が広く使われている。こうした手法は推論計算を多く費やすほど平均性能が上がる傾向があるが、実際のデプロイでは「このインスタンスに対して、次の1単位の推論がコストに見合うか」という局所的な判断が必要になる。

著者らはこの判断を、{trust, fallback, expand} の3アクションから成るコントローラーとして定式化した。

• trust：現在の評価器選好アンサーをそのまま出力する
• fallback：保守的な回答（多数決や直前の草稿など）を出力する
• expand：推論ステップをもう1回実行してから再度判断する

この枠組みは「幅拡張（width expansion）」すなわち候補をさらにサンプリングする場合と、「改訂拡張（revision expansion）」すなわち批評・改訂ラウンドを追加する場合の両方をカバーする。

手法の核心——アクション別信頼度の学習とキャリブレーション

従来の評価器スコア（検証器スコアや判定スコア）は、停止すべきかどうかの直接的な指標にならない、と著者らは指摘する。高い検証器スコアが停止の最適性を保証するわけではなく、低いスコアがfallbackを最適にするわけでもないためだ。

そこで提案手法では、各アクションに対してアクション別の信頼度ヘッドを1つずつ学習する。特徴量として使用するのは評価器スコア、スコアマージン、不確実性サマリー、合意度、直近の進捗、拡張レベル、正規化済み予算など、すべて推論時に観測可能な量のみだ。各ヘッドはシグモイド関数を用いた軽量な線形モデルで、オフラインの全ラダー（full-ladder）ロールアウトから得たバイナリターゲットで学習される。

学習後、各ヘッドの出力はポストホックキャリブレーションで補正される。さらに、アクション境界付近での不安定な決定を抑制するため、キャリブレーション分割上の残差から局所不確実性ペナルティを推定し、スコアから差し引く仕組みも備える。

コントローラーの最終的なアクション選択スコアは次式で表される：

J_hat(s, u) = p_hat(s, u) - λ * c(s, u)

ここで p_hat はキャリブレーション済み成功確率、λ は計算コストの価格パラメータ、c(s, u) は当該アクションの計算コストだ。

理論的保証——局所アクション一貫性と後悔境界

論文は2つの理論的結果を提示している。

補題1（局所アクション一貫性）：スコア誤差 δ_J(s) が計算コスト調整済みアクションギャップ Γ*(s) の半分より小さければ、デプロイされたコントローラーは理想的なコントローラーと同じアクションを選択する。

定理1（有限ホライズン信頼度後悔）：実際に実行された拡張パス上での期待累積スコア誤差によって後悔が上界される。さらに、visited状態でのカバレッジ仮定のもとで確率 1 - α で成立する後悔境界も導出されている（定理2）。

これらの分析は、生の評価器スコアではなく、計算コスト調整済みのアクション別スコアが信頼性の鍵であることを示している。

実験結果——計算コスト約30%削減

評価はQwen3-4B、Qwen3-8B、DeepSeek-R1-Distill-Qwen-14Bを対象に実施された。タスクは検証器誘導の幅拡張（MATH・AIME25）と判定器誘導の改訂（OpenThoughts-114kからフィルタリングしたGeneral Reasoningベンチマーク）の2種類だ。

論文によれば、提案コントローラーはキャリブレーション選択済みの固定ポリシーと比較して：

• 幅拡張タスク：正規化オンライン計算量を約30%削減しながら観測ユーティリティを改善
• 改訂タスク：計算量を約16%削減しながらユーティリティを改善

と報告されている。Qwen3-8Bの4シードにわたる評価では、計算量はfitted Qよりも低く、ユーティリティの差は小さく混在した結果だったという。

意義と位置づけ

著者らは本研究の意義を「evaluator-guided reasoningを、一様に強力な推論器としてではなく、不確実性下の資源配分として捉え直すこと」と総括している。自己修正（self-correction）が単調に改善するわけではなく、正しい草稿を破損する可能性があるという先行研究の知見とも整合する視点だ。

軽量なコントローラー（アクションごとに1つの線形ヘッド）で実装されており、生成・検証・改訂の計算コストと比較してコントローラー自体のオーバーヘッドは無視できるレベルとされる。テスト時計算スケーリングの効率化に向けた実用的なアプローチとして注目される。

---

出典: Confidence-Calibrated Inference Expansion for Evaluator-Guided Test-Time Reasoning