Research
AIコーディングエージェントに「複雑度フィードバック」を与えるとコード品質が向上——論文「Metrics-in-the-Loop」が示す実験結果
2026/11/22
テスト通過だけでは不十分——エージェントが生み出す「複雑化の罠」
AIコーディングエージェントは今や、長時間の自律的な実行でコードベース全体を書き上げるほどの能力を持つようになった。しかし現状のエージェントは「テストが通るかどうか」を主な指標として行動しており、コードの複雑度の増大やテストカバレッジの漏れを検知する仕組みを持たない。エージェントが自分の書いたコードをさらに拡張していくと、複雑度が集中した関数が積み重なり、長期的な保守性が損なわれることが先行研究で示されていた。
この問題に対し、著者らは MITL(Metrics-In-The-Loop) と呼ぶ軽量な推論時介入手法を提案している。訓練も参照実装も必要とせず、エージェントがコードを変更するたびに自動計測したメトリクスをコンテキストへ注入するプラグインだ。
MITLの仕組み
MITLが注入するフィードバックは主に2種類ある。
- 複雑度フィードバック(C): 変更された関数の循環複雑度(Cyclomatic Complexity)が閾値(実験では6)を超えた場合、該当関数名と複雑度を列挙したメッセージを次のターン前にエージェントのコンテキストへ挿入する。エージェントはリファクタリングを行う機会を得る。
- カバレッジフィードバック(T): エージェント自身のテストが実行しない変更行を列挙し、テストを強化する機会を与える。
計測はエージェントがファイルを変更するターンのたびに実施され、変更されていないファイルはキャッシュから複雑度を取得することでコストを最小化している。
これらに加え、著者らは5つの実験アーム(フィードバック無しの B0、指示文のみの R、複雑度フィードバックを追加した C、カバレッジフィードバックを追加した T、両方を追加した CT)を設定し、メトリクス計測そのものの効果と指示文だけの効果を切り分けて分析した。
実験設計
著者らは4つのモデル(オープンウェイトの DeepSeek V4.1 Flash と GLM-5.3 Flash、プロプライエタリの Claude Haiku 5.5 と GPT-6 Luna)を使い、3つの長期コーディングベンチマークで評価を実施した。
- Commit0: 仕様からPythonライブラリを再構築するタスク(25ライブラリ、200万トークンバジェット)
- SlopCodeBench: 連続する仕様に対してプログラムを開発するタスク(35問題、複数チェックポイント)
- SWE-EVO: 公開プロジェクトを次のリリースへ更新するタスク(35トランジション)
評価指標は2つ。正確性はエージェントが一切見ない保留済みテストの通過率、**侵食指数(Erosion、E₁₀)**は循環複雑度が10を超える関数に複雑度の質量がどれだけ集中しているかの割合で、低いほど良い。
主な結果
複雑度フィードバックは侵食を有意に低減
論文によれば、CおよびCTアームはCommit0とSlopCodeBenchの全4モデルで、リマインダーのみのRに対して侵食指数を有意に低下させた。すべての信頼区間がゼロを含まない形で低下を示しており、プールした事後推定では開始時の侵食の 7.8〜24.6パーセントポイント に相当する削減が見られたと報告されている。SWE-EVOでは4モデル中2モデルで有意な低下が確認された。
SlopCodeBenchでは複数のチェックポイントにまたがってもCT−Rの差は持続しており、コンテキストリセット後も効果が続くことが確認されている。
保留済みテストの正確性への影響は検出されず
一方で、いずれのモデルにおいても正確性の信頼区間はゼロを含んでおり、MITLが機能的な正確性を損なう証拠は見られなかった。SlopCodeBenchのプール推定値は −1.7 [−3.6, +0.1] であり、結合混合モデルではオッズ比0.82 [0.70, 0.96] とCTアームに小さなコストが生じる可能性も排除できないと著者らは慎重に記している。
著者らは「複雑度の低下がまだ正確性の向上に結びつかない理由」について2つの仮説を挙げている。第一に、現行ベンチマークのコードベースは数百万行規模のエージェント実運用と比較して極めて小さく、複雑度の恩恵が顕在化しにくい可能性がある。第二に、仕様の読み違いやロジックエラーなど、コードが単純であっても発生するバグ類には複雑度削減は効果を持ちえない。
エージェントはフィードバックを実際に活用する
行動分析によると、複雑度フィードバックを受けたエージェントはCommit0で指摘された関数の54〜88%、SlopCodeBenchでは87〜94%を実際に再編集したと報告されている。最終的にそれぞれ46〜94%および94〜97%の関数が複雑度制限を満たす状態になったという。エージェントが提示されたメッセージを見落とした割合は1.8%未満だった。
「再レーリング」という概念
著者らはMITLを エージェントの「re-railing(再軌道修正)」 の実践的な形として位置付けている。弱点が次の構築の土台になってしまう前に、タイムリーで実行可能な計測データでエージェントを正しい方向へ誘導するという考え方だ。
コーディングエージェントが書くコードの量が増え続ける中で、テストの合否だけでなく 何を残すか を評価することの重要性は増している。著者らは今後のベンチマーク設計において、正確性と同等に保守性を測ることが不可欠だと主張しており、数百万行規模のコードベースを持続的に開発するエージェントを構築するには、こうした介入が不可欠になると論文内で述べている。
出典: Metrics-in-the-Loop: Complexity Feedback Reshapes Agent-Written Code