AI
MetaがLLM生成テスト「JiTTests」を本番導入——コードマージ前にプライバシーバグを74件検出
2026/11/17
MetaのJiTTests、本番稼働へ
Metaは、LLMを活用したテスト自動生成システム「Catching Just-in-Time Tests(JiTTests)」を研究プロトタイプから本番インフラへと移行させたと報告している。同システムはリスクの高いコード差分(diff)に対して「失敗するように設計されたテスト」を生成し、バグをマージ前に検出することを目的としている。
従来のAIコードレビューツールの多くは、diffを読んでコメントを残すという「高速な人間レビュアー」的な動作をとる。これに対してJiTTestsはコードを実際に実行し、「挙動の変化」を具体的な証拠として示す点が特徴だとMetaチームは説明している。
FSE 2026の研究論文「Just-in-Time Catching Test Generation at Meta」(arXiv:2601.22832)では22,126件の生成テストが分析されており、同システムの詳細が記述されている。
5段階のパイプライン
本番パイプラインは以下の5ステージで構成されるとされている。
- ターゲティング: 夜間にスペアキャパシティ上で動作し、前日のリスクの高いdiffをMetaの「Diff Risk Score」に類似した仕組みで選定する。
- テスト生成: 2種類のdiff対応ワークフローが候補テストを生成する。
- LLM-as-Judgeアンサンブル: 複数のLLMが各失敗テストについて、テストコード・失敗トレース・diff・推定インテントを用いてスコアリングする。論文中で挙げられているモデルはLlama 3.3-70B、Gemini 3 Pro、Claude Sonnet 4の3つ。
- RubFake: ルールベースの誤検知除去環境。リフレクション、壊れたモック、未実装例外などのパターンを確定的なルールで検出しフィルタリングする。
- ヒューマン・オン・ザ・ループ: 上記のランキングに基づいてエンジニアへ通知するかどうかをシステムが判断し、エンジニアが挙動の変化が意図的なものかどうかを確認する。
2種類の生成ワークフロー
テスト生成には2種類のアプローチが用いられているとされる。
「Dodgy Diff」ワークフローはすべてのdiffにバグがあるとみなし、diffをその親コードの変異体として扱い、両者を区別するテストを生成する。
「Intent-Aware」ワークフローはまずdiffのコード・タイトル・サマリーから意図を推定し、リスクを列挙したうえで変異体を生成、それを「殺す」テストを作成する。実際のdiffで失敗したテストが「弱いキャッチ(weak catch)」として記録される。
ベンチマーク結果
論文によれば、diff対応手法はハードニングテストに比べて4倍多くの候補キャッチを生成し、偶発的に失敗するテストの20倍に達したと報告されている。
Intent-Awareワークフローは生成テストの6.4%、diffの7.9%で弱いキャッチを生成した。Dodgy Diffはそれぞれ2.5%・4.0%、MetaのACMミューテーションガイドハードニングは0.8%・1.6%だったとされる。また、ルールベースとLLMによる評価の組み合わせにより、人間のレビュー負荷を70%削減できたと報告されている。
実運用での効果と課題
MarkTechPostの記事によれば、フルスケール展開では2026年上半期にプライバシーSEVを74件マージ前に検出し、プライバシーSEVの発生件数が20%減少したとされている。エンジニアの自己報告による真陽性率は60%と報告されている。
一方で、初期展開時には41件の報告キャッチのうち確認されたのは8件(19.5%)にとどまったとも記されており、自己報告の数値であることにも注意が必要だと同記事は指摘している。
なお、JiTTestsはMetaの内部インフラ上で動作しており、一般への公開はされていない。
出典: Meet Meta’s JiTTests: LLM-Generated Tests Designed to Fail Before Risky Code Lands