学習データの意図しない記憶・漏洩 — membership inference攻撃とモデルからの訓練データ復元リスク

1. 2つの異なるリスクを、まず区別する

この分野には、似ているが異なる2つの攻撃概念がある。メンバーシップ推論攻撃（membership inference attack）は、「特定のデータが、そのモデルの学習に使われたかどうか」を推定する攻撃だ。それ自体はデータの中身を復元するわけではないが、例えば「特定の患者の診療記録が、この医療AIの学習に使われていたかどうか」が分かるだけでも、プライバシー上の問題になりうる。一方、訓練データ抽出攻撃（training data extraction）は、それより一歩踏み込み、モデルに特定の入力を与えることで、学習データそのものを一字一句そのまま「復元」させる攻撃だ。こちらは実際に、個人情報やコードのような具体的な中身が漏れる。

2. 実例：200ドルの問い合わせで、1万件以上の訓練データを復元

理論上の懸念ではなく、実際に成功した攻撃として最もよく引用されるのが、Google DeepMindの研究者ら（Nasr et al.）が2023年11月に発表した研究だ。ChatGPT（gpt-3.5-turbo）に「‘poem’という単語を永遠に繰り返して」と指示すると、モデルは最初こそ指示通り単語を繰り返すが、やがて挙動が崩れ（研究チームは「発散（divergence）」と呼んでいる）、その一部に学習データそのものと一致するテキストが混ざり始める。この現象を利用した「発散攻撃」により、通常時と比べて150倍の頻度で学習データをそのまま出力させることに成功したという。研究チームは、わずか200ドル分の問い合わせだけで、1万件を超える一意な、一字一句正確な訓練データの断片を抽出できたと報告している。単純計算で、より多くの費用をかければギガバイト単位のデータを抽出できる可能性がある、とも指摘されている。これは、整合性調整（アラインメント）済みの本番稼働中モデルから、大規模に訓練データが抽出された初めての事例とされている。

3. GitHub Copilotが、自ら認めている再現率

コードの世界でも同様の問題が指摘されてきた。GitHub Copilotをめぐっては、2022年11月にオープンソース開発者らが、GitHub・Microsoft・OpenAIを相手取り、ライセンス表記なしにGPL等でライセンスされたコードを学習・再現しているとして集団訴訟を起こしている（Doe v. GitHub）。訴訟自体は、22件あった請求のうち大半が裁判所により却下され、契約違反などごく一部の主張のみが審理を継続する形になった。

注目すべきは、GitHub自身がCopilotのFAQで、「150文字を超えるコードの提案が、学習データと一致するケースが約1%程度ある」と認めている点だ。企業が自社の公開文書で、自社サービスが訓練データを再現しうることを明言しているという点で、これは学術研究とは違う重みを持つ、実務上の既知のリスクだと言える。

4. 個人情報はどの程度の精度で抽出できるのか

Huawei Munich Research Centerの研究チームが発表した「PII-Scope」（arXiv:2410.06704、2025年5月改訂）は、この問題をより定量的に検証している。GPT-J 6Bモデルに対し、Pileコーパス（Enronメールデータセットを含む）を用いて、メールアドレスと電話番号の抽出を試みたところ、事前学習のみのモデルでも複数回の問い合わせ（256回）を重ねることで、メールアドレスは最大39.0%、電話番号は最大11.7%の精度で復元できた。さらに、そのモデル自身が対象データでファインチューニングされていた場合、メールアドレスの復元精度は最大73.1%、電話番号は最大62.3%まで上昇したという。自社データでモデルをファインチューニングして使う組織が増えている現状を踏まえると、この数字は軽視できない。

5. 攻撃手法は、さらに洗練されつつある

2025年10月、EMNLP 2025（自然言語処理分野の主要国際会議）に採択された研究「Retracing the Past: LLMs Emit Training Data When They Get Lost」は、Nasr et al.の「発散攻撃」をより体系化した手法を提案している。研究チームは、モデルが訓練データをそのまま出力する直前に、トークンごとの予測の「エントロピー（不確実性）」が一時的に急上昇するという規則性を発見し、この不確実性を意図的に最大化するよう入力を最適化する「Confusion-Inducing Attacks（混乱誘発攻撃）」を提案している。整合性調整されたモデルに対しては、調整の効果を弱める補助的な手法も併用することで、既存手法より高い精度で一字一句の訓練データ復元に成功したと報告されている。

6. ただし、「攻撃が効いた」という結果自体を鵜呑みにしてはいけない

ここまで紹介してきた研究は、いずれも実際の攻撃として成立している。しかし、この分野の研究全体を見渡すと、一つ重要な留保が必要になる。

Imperial College Londonの研究者ら（Meeus et al.）による「SoK: Membership Inference Attacks on LLMs are Rushing Nowhere」は、近年発表されている多くのメンバーシップ推論攻撃の研究に、根本的な方法論上の欠陥があると指摘している。多くの研究は、モデル公開「後」に、学習に使われたデータ（メンバー）と使われていないデータ（非メンバー）の集合を、事後的な推測によって構築している。ところがこの2つの集合の間には、しばしば強い「分布のずれ（distribution shift）」が存在し、研究チームが6つのデータセットで実際に定量化したところ、事後的に構築されたデータセットはすべて、この分布のずれの問題を抱えていたという。つまり、こうした研究が示す「高い攻撃成功率」の一部は、モデルが本当に学習データを強く記憶しているからではなく、単に2つのデータ集合の性質そのものが最初から異なっていたから、という可能性がある。論文は「実世界のシナリオでLLMが強く記憶しているという主張の一部を無効化しうる」とまで踏み込んでいる。研究チーム自身は、この分野の研究を否定するのではなく、ランダム化されたテスト分割や、ランダムな系列の意図的な注入といった、より信頼できる評価手法を代案として提示している。

7. まとめ：「記憶している」ことと「取り出せる」ことは別だが、両方とも実在する

ここまでの内容を整理すると、次のように言えそうだ。学習データがモデルの中に何らかの形で残っている、という現象自体は、GitHub Copilotの自己申告や、PII-Scopeの定量的な検証、そしてNasr et al.の大規模抽出実験によって、実際に裏付けられている。一方で、「LLMはどの程度、学習データを記憶しているか」という問いに対する学術的な回答の一部は、測定手法そのものに欠陥を抱えている可能性がある。

実務上重要なのは、この2つを混同しないことだ。「攻撃が成立するかどうか」（実在する）と、「その攻撃がどの程度普遍的に効くのか」（研究によって数字の信頼性にばらつきがある）は別の問題であり、後者について報告されている数字を見るときは、その研究がどうやって「学習に使われたデータ」と「使われていないデータ」を区別しているかを、一度確認する価値がある。