SOC自動化の誤検知・過信問題 — 「人間を外していい範囲」はどこまでか

1. 「導入できる」の先にある、もっと難しい問い

本誌の別記事「AIで防御は出来るのか？」では、SOC（セキュリティ運用センター）の慢性的な誤検知の多さ（一般的なSOCで50〜80%、成熟した「エリート」クラスでも30%未満が実情）という背景と、AIエージェント導入によって報告されている削減効果の数字、そして「ベンダーが公表する削減率は自動処理の”量”を示すものであり、“質”を保証するものではない」という留保について整理した。

本稿ではその先、より実務的で難しい問いに踏み込む。アラートの一次対応をAIに任せるところまでは、もう議論の余地は少ない。問題は、その先——「人間の承認を待たずに、AIが実際にシステムを遮断・隔離してよい範囲はどこまでか」という線引きだ。

2. 判断基準は「精度」ではなく「巻き込む範囲」であるべき

直感的には、「AIの判定精度が十分に高ければ、人間を外してよい」と考えたくなる。しかし実務家の間で共有されている、より実践的な考え方は違う。判断基準にすべきは精度そのものではなく、その処置が誤っていた場合に、どれだけの範囲を巻き込むか（blast radius、爆発半径）だという指摘だ。

具体的には、次のような非対称性がある。

• 誤検知に基づいて、本当は脅威だったアラートを誤って「良性」としてクローズしてしまう——これは望ましくないが、後から気づいて再調査すれば、多くの場合は挽回可能だ
• 誤検知に基づいて、本番稼働中のデータベースサーバーを自動的に隔離してしまう——これは即座に事業影響（アウテージ）を引き起こし、取り返しがつかない、あるいは取り返すコストが著しく高い

同じ「AIの誤判定」でも、前者と後者では実害の重さがまったく違う。したがって、自動化の可否は「AIの精度が何%か」ではなく、「その処置の可逆性・巻き込む範囲がどの程度か」で線を引くべきだ、というのが実務上の共通見解になっている。

3. 学術的にも、段階的な自律性のモデルが提案されている

この「どこまで任せるか」という問題を体系的に扱おうとする動きは、学術研究にも表れている。ACM Transactions on Internet Technology（2026年7月）に掲載された研究（Mohsin, Janicke, Ibrahim, Sarker, Camtepeら）は、SOCにおけるAIの自律性を、Level 0（完全手動）からLevel 4（完全自律）までの5段階に分け、それぞれの段階を「タスクごとの信頼閾値」と紐づけて管理する枠組みを提案している。

ここで重要なのは、同研究が明確に区別している「Human-in-the-Loop（HITL）」と「Human-on-the-Loop（HOTL）」の違いだ。HITLは、人間が処理の途中に必ず介在し、承認するまで次に進まない構成を指す。一方HOTLは、AIの処理内容を人間がすべて見える状態にはしておくが、進行を止める必要はない、という構成だ。同じ「人間が関与している」状態でも、この2つは自律性のレベルとしてまったく異なる。監視の強度（HITLかHOTLか）を、タスクの性質——アラートのトリアージなのか、それとも本番システムの隔離なのか——に応じて使い分けるべきだ、というのが同研究の骨子になる。

4. 教訓：史上最大級のIT障害が示す、“止める仕組み”の重み

この議論を裏付ける、極めて大規模な実例がある。2024年7月19日、セキュリティベンダーCrowdStrikeが、同社のエンドポイント検知・対応（EDR）製品「Falcon」向けに配信したコンテンツ更新に不具合があり、世界で約850万台のWindowsシステムがクラッシュし再起動不能になるという、「IT史上最大」とも呼ばれる規模の障害を引き起こした。航空会社の運航停止から病院の診療システムまで、影響は広範囲に及んだ。

この事例そのものは「AIエージェントの過信」が直接の原因ではなく、更新配信プロセスにおける検証不足が原因だとされている。しかし、ここから得られる教訓は、今日のAIエージェント型SOCにもそのまま当てはまる。OS・カーネルレベルの深い権限を持つセキュリティツールが、段階的なロールアウトや十分な事前検証を経ないまま、広範囲に一斉適用されたという構造は、AIエージェントが人間の承認なしに広範囲へ自動対応を実行する場合の潜在リスクと、本質的に同じ形をしている。「巻き込む範囲が広い変更ほど、慎重な検証と段階的な適用が必要」という原則は、変更の主体が人間の運用チームであってもAIエージェントであっても変わらない。

5. どこまでを自動化してよいか——実務的な線引き

ISACA Journal（2025年、Volume 1）が提示する「ルーティンは自動化し、重大な判断はエスカレーションする（automate the routine, escalate the consequential）」という原則は、この線引きを考える上で分かりやすい出発点になる。同誌は、トリアージと封じ込めの間、封じ込めと本番資産の根絶（eradication）の間に、それぞれ人間による確認のチェックポイントを設けることを推奨している。人間の判断を必ず介在させるべき対象として挙げられているのは、事業上重要なシステムの封じ込め、取り消しの効かない処置、判断の分かれる高深刻度アラート、そして「自動化が誤っていた場合に事業運営上の実害につながりうるすべての処置」だ。

これを整理すると、おおよそ次のような線引きになる。

• 自動化に適した領域：既知のシグネチャに基づく単純な検知・アラートの分類、明らかに良性と分かっている大量のノイズの自動クローズ、証跡の収集・エンリッチメント（付加情報の付与）
• 人間の承認を必ず介在させるべき領域：本番稼働中システムの隔離・遮断、広範囲のアカウント権限の剥奪、大量のファイルの自動削除・検疫、深刻度の判断が分かれるインシデントの最終処置

6. TIPの視点

「AIの精度が上がれば、いずれ人間は不要になる」という発想は、この分野では的を外している。精度がどれだけ向上しても、「誤ったときにどれだけの範囲が巻き込まれるか」という非対称性は消えない。むしろAIエージェントの処理速度が上がるほど、誤った自動処置が広範囲に伝播する速度も上がる、という点には注意が必要だ。

実務上の現実的な結論は、「トリアージや検知の一次対応は、既にAIに任せてよい段階に来ている。しかし、事業に不可逆な影響を与えうる封じ込め・根絶の判断は、巻き込む範囲に応じて、HITL（人間の承認を必須とする構成）を維持すべきだ」というものになる。CrowdStrikeの事例が示す通り、この境界線を軽視した先にあるのは、AIの判断の巧拙以前の、構造的な事故だ。