AI
品質とコストを同時最適化するLLMエージェント自動調整フレームワーク「ParetoSaddler」
2026/11/05
LLMエージェントをモデル変更なしに改善する「ハーネス最適化」
LLMを活用したエージェントシステムの性能は、モデルの重みだけでなく、プロンプト・ツール・制御ロジックといった「ハーネス」と呼ばれる周辺コンポーネントにも大きく左右される。モデルを一切変更しなくても、ハーネスを改変するだけでエージェントの性能を大幅に引き上げられることが知られており、これを自動化する**自動ハーネス最適化（AHO）**の研究が近年活発化している。
しかし既存のAHO手法はもっぱら「回答品質」の最大化を目指しており、実運用で重要なLLMトークンコスト（＝実行コスト）との同時最適化はほとんど考慮されてこなかった。Microsoft・UCL・POSTECHほかの共同チームは論文「ParetoSaddler」において、この課題に正面から取り組むフレームワークを提案している。
中間ステップで「展開時の好み」を押しつけると逆効果になる
品質とコストを同時に最適化しようとする際、直感的なアプローチは「各イテレーションで品質・コストのトレードオフが改善した候補だけを残す」というものだ。しかし著者らはこのアプローチに根本的な問題があると指摘する。
中間ステップで展開時の選好（たとえば「コストをこれ以上増やさない」という制約）を即座に適用すると、将来の改善につながる候補を時期尚早に除外してしまう可能性がある。たとえば、一部のタスクで途中終了していたエージェントのバグを修正した候補は、追加の推論ステップが発生するために一時的にコストが上昇する。しかしそのコスト増を理由に候補を除外すると、後続のパッチがその修正を足がかりにして非効率性をさらに削減する機会を失う。
さらに、LLMエージェントの実行は本質的に確率的であり、同一ハーネスでも実行ごとに品質・コストが大きく変動する。単純な平均値での比較はこのばらつきを無視してしまい、統計的に根拠の薄い改善を過大評価するリスクがある。
ParetoSaddlerのアプローチ：探索時と展開時の基準を分離する
ParetoSaddlerはこの問題を「中間候補の昇格判断」と「最終的な展開ハーネスの選択」を明確に分離することで解決する。
各イテレーションでは以下の流れが実行される。
- オプティマイザが現在の親ハーネスを元に候補ハーネスを生成する。
- 親と候補の両方を繰り返し実行し、品質とコストの共同観測値を収集する。
- ベイジアンブートストラップ Pareto サポートを用いて、品質またはコストのいずれかで信頼性の高い改善が見られる候補を「昇格」させる。展開時の選好を満たすかどうかはここでは問わない。
- 昇格した候補はより広い開発セットで評価され、以降の最適化ステップの親候補としても利用可能になる。
- 最適化バジェットを使い切った段階で初めて、展開時の選好を適用して最終ハーネスを選択する。
ベイジアンブートストラップによるスクリーニングは、複数回実行にわたって弱い支持しか得られない候補を除外する役割を担う。これにより、偶然の変動による見かけ上の改善に振り回されるリスクを軽減している。
実験結果：品質とコストを同時に改善
論文では、ClawMark（サイバーセキュリティタスク）とGAIA2（汎用AIエージェントベンチマーク）という2つのベンチマークを用いて、ドメイン非重複分割による訓練・開発・テストセットで評価が行われた。
テストセットの結果は以下の通りと報告されている。
| ベンチマーク | 初期品質 | 最終品質 | 初期コスト（1タスク） | 最終コスト（1タスク） |
|---|---|---|---|---|
| ClawMark | 70.86% | 81.35% | $1.17 | $1.01 |
| GAIA2 | 56.22% | 62.89% | $0.78 | $0.45 |
特筆すべきは、ParetoSaddlerが品質のみを最適化する既存手法と比較しても、ClawMarkで7.49ポイント、GAIA2で5.56ポイント品質で上回りながらコストも低く抑えられた点だ。著者らはこの結果について、「品質とコストを同時に最適化することが品質の犠牲を招くわけではなく、むしろ探索をより強力な品質解へと誘導しうる」と述べている。
アブレーション分析が示す各要素の寄与
論文ではPareto対応の昇格、繰り返し実行、ベイジアンスクリーニングそれぞれのアブレーション分析も実施されている。分析によれば、Pareto対応の最適化は展開選好によって棄却されるはずの中間候補を保持し続け、それが後の改善を支えることが示されたという。またベイジアンブートストラップのスクリーニングは、複数回実行にわたって弱い支持しか持たない候補を効果的に除外することが確認されたとされる。
まとめ
ParetoSaddlerは、LLMエージェントの実運用において品質とコストの両立が求められる場面で有効な手法として位置づけられる。モデル重みを一切変更せず、ハーネスの自動最適化だけで両目標を同時改善できた点は実践的な意義が大きい。コードとプロジェクトサイトは https://aka.ms/ParetoSaddler-website で公開予定とされている。
出典: ParetoSaddler: Pareto-Guided Optimization of Agent Harnesses for Quality and Cost