Research

LLMカスケードの「情報不正利用」を反実仮想で検出——CascadeLedger フレームワークの提案

2026/10/18

LLMカスケードの「見えない不正」をどう検出するか

複数のLLMを組み合わせて推論コストを最適化する「カスケードシステム」は、安価なモデルで処理できる場合はそちらに任せ、困難なケースだけ高性能モデルを呼び出すという条件付き計算の仕組みだ。しかしこのアーキテクチャには、従来の監査手法では見逃しやすい隠れた問題が潜む。候補出力がルーティング決定の前に露出したり、利用不可能なモデル呼び出しがトレースから消えたり、評価スコアラーがルート選択と同じターゲットを使っていたりすると、最終回答・呼び出し履歴・コストのサマリーはすべて同一でも、実装が「まだ観測できないはずの情報」を参照していることがある。

中国科学院情報工学研究所および中国科学院大学人工知能学部の研究チームは、この問題に対処するフレームワーク CascadeLedger を提案した（arXiv:2610.20668）。

プロトコルの核心：「読む前に呼ぶ」セマンティクス

CascadeLedger の基本原則は「call-before-read（呼び出し前に読まない）」セマンティクスの強制だ。具体的には以下の手順でトレースを確定・凍結する。

候補出力の事前凍結：小型モデル・検証器・大型モデルの出力はキャッシュに格納。ルーターは課金済み呼び出しの後にのみ候補を受け取る。
観測可能情報の限定：オンラインポリシーが参照できるのは、クエリ・成功した有料呼び出しから返された観測値・宣言済み信頼度・サービス可用性・残余バジェットのみ。
トレースの凍結とハッシュ：ターゲットや将来のサービス出力は、トレース凍結後のポストフリーズ結合でのみ参照される。

この設計により、アクション決定時点で「まだ合法的に見えないはずの情報」が混入しているかどうかを事後的に検査できる。

3つの主要概念：CPNI・CIF・PPAM

反実仮想プレフィックス非干渉（CPNI）

CPNI は、「可視プレフィックスとポリシーランダムネスを固定したまま、宣言済みの隠れファミリー（ターゲット、未公開検証器出力、未公開大型モデル候補など）だけを変えた場合に、ルーティングアクションが変化するか」を検査するペア型反実仮想テストだ。アクションが変化すれば、その実装は「観測できないはずの情報」にアクセスしていたことを意味する。

反実仮想影響フロンティア（CIF）

CIF は CPNI 違反を局所化するメカニズムで、最初の違反プレフィックスと最小限の「隠れ証人（hidden witness）」を特定する。階層的デルタデバッグにより、包含最小となる証人セットを復元する。

投影保存型敵対的変異（PPAM）

PPAM は「宣言済みの品質・リソース投影を変えないまま、非反実仮想チェッカーを通過してしまう無効トレース」を探索するストレステストだ。集約サマリーが同一に見える無効なトレースを意図的に生成し、監査の見落としを評価する。

実験結果：偽陽性ゼロ、障害検出率 99.8% 超

論文では、凍結キャッシュ・独立生成・サービング評価の 3 条件にわたる実験が報告されている。2 層監査の主な数値は以下のとおりだ。

指標	値
偽陽性率	0.0000
シリアル化障害の検出率	0.9983
未ログ隠れ読み取り障害の検出率	0.9982
監査後に品質・リソース結論が変化した割合（ACR）	0.3403

特に注目すべきは ACR（監査結果影響率）だ。無効トレースをそのまま受理した場合、品質・リソースに関する科学的結論が 34% のケースで変化すると報告されており、監査を省略することのリスクの大きさを示している。

ルーティング品質の比較では、固定ルーティングとシーケンシャルルーティングはキャッシュ・ターゲットのプロキシマッチ率が同等（0.3203）である一方、シーケンシャルルーティングは宣言済みサービスコストが高くなると報告されている。学習済みゲートは保留データで 41/128 マッチを達成したが、シーケンシャルルーティングの 42/128 には及ばず、ルート特徴量や独立した意味的検証器によってさらなる改善余地があることを著者らは指摘している。

設計上の位置付けと関連研究

CascadeLedger はポリシー非依存な設計となっており、FrugalGPT や RouteLLM といった既存のカスケードルーティング手法と組み合わせて利用できると著者らは述べている。情報フロー制御・ハイパープロパティ・ランタイム検証・メタモルフィックテストといった既存の形式手法と概念的に関連するが、CPNI は「カスケード決定における見えない情報依存」という具体的な問題に特化した関係型テストとして位置付けられる。

オンラインレコーダーとオフライン CPNI 監査のオーバーヘッドは別々に計測されており、学習済みルーティングや意味的検証との下流互換性も同一実行コントラクトのもとで検討されていると報告されている。

まとめ

CascadeLedger は、LLM カスケードにおいて「集約サマリーが正常に見えても実装が隠れた情報を不正参照している」という問題を、反実仮想実行監査によって検出するフレームワークだ。偽陽性ゼロを維持しながら 99.8% 超の障害検出率と、34% の結論変化率という数値は、カスケードシステムの信頼性評価における監査の重要性を改めて示している。

出典: CascadeLedger: Counterfactual Auditing of Information and Resource Integrity in LLM Cascades