Research
プライバシーを守りながらLLMの知識を共同更新——筑波大学が「FedAlphaEdit」を提案
2026/10/11
背景——LLMの知識編集と「連合」という課題
大規模言語モデル（LLM）は膨大な事実知識を内包しているが、時間の経過とともにその情報は陳腐化・誤認化していく。モデル全体を再学習するのはコスト面で非現実的なため、特定の事実だけを直接修正する知識編集手法が注目されてきた。ROME や MEMIT に代表される「locate-then-edit」アプローチは、フィードフォワード重みへの閉形式の更新を計算することで、対象の事実のみを書き換える。
しかし実際の運用では、複数の機関がそれぞれ異なる知識の修正ニーズを持つことが多い。病院は臨床知識を更新し、金融機関は規制変更に対応したいが、いずれもローデータの共有は法的・倫理的に困難である。こうした「生の編集リクエストを交換せずに複数クライアントの編集を一つのモデルに集約する」問題を定式化したのが CollabEdit フレームワークだ。
一方、AlphaEdit は各更新を「保持すべき知識の鍵ベクトルのヌル空間」に射影することで、無関係な知識を数学的に保護する手法である。CollabEdit と AlphaEdit の組み合わせは自然に思えるが、筑波大学の菅原颯太氏と岡田幸彦氏は論文「FedAlphaEdit: Null-Space-Aligned Merging for Collaborative Knowledge Editing」の中で、この素朴な組み合わせが構造的に破綻することを明らかにし、その解決策を提案している。
素朴な組み合わせで起きる「二重崩壊」
著者らが実験（GPT-2 XL、MCF データセット、5000 編集、10 クライアント×500 編集）で示したのは、以下の二つの同時崩壊だ。
- 編集成功率（Edit Success）の崩壊: 集中編集では 97.08 であるのに対し、素朴な組み合わせでは 79.69 と約 17.4 ポイント低下する。
- 知識保持（Neighborhood Specificity）の崩壊: 集中編集の 64.43 に対し 60.24 と約 4.2 ポイント低下し、マージ後の更新の最大 14% がヌル空間の外に漏れ出す。
さらにこの両崩壊はクライアント数 N の増加とともに単調に悪化し、N=1（つまり集中編集）では定義上消滅することも確認されている。
なぜ失敗するのか——代数的な原因
著者らは崩壊の原因を代数的に特定している。
AlphaEdit の更新は Δ = D·P₀ という形に分解でき（補題 1）、P₀K₀=0 が成立する理想的なケースでは ΔK₀=0 が保証される。ところが CollabEdit の共分散加重マージ（Δ_naive = Σ Δᵢ·Mᵢ）を適用すると、マージ後の更新の K₀ への作用は
Δ_naive · K₀ = Σ Dᵢ · [P₀, Mᵢ] · K₀
となる（補題 2）。ここで [P₀, Mᵢ] = P₀Mᵢ − MᵢP₀ は交換子であり、Mᵢ が P₀ と交換しない限りゼロにならない。編集鍵の共分散が保持サブ空間と相関を持つ一般的な状況では、この交換子は非ゼロになり、保持性が失われる。
編集成功率の崩壊については補題 4 で説明される。CollabEdit のマージ重みは MEMIT 型の正規化子と正確にキャンセルするよう設計されているが、AlphaEdit は異なる正規化子構造を持つため、そのキャンセルが成立しない。これが編集成功率の崩壊を引き起こす、と著者らは報告している。
FedAlphaEdit——ヌル空間整合マージ
この分析を踏まえて著者らが提案するのが FedAlphaEdit だ。核心となるのは「ヌル空間整合マージ（null-space-aligned merging）」である。
各クライアントは生の編集リクエストではなく、射影済みの共分散統計量をサーバーに送信する。サーバーはこれをAlphaEditと同一のヌル空間原理に従った重みで集約することで、定理 1 が示すように、一発解（one-shot）の理想化のもとですべてを一箇所で編集した結果と完全に一致する更新を再現できると著者らは述べている。なお、真の逐次編集においてはこの同一性は近似的にしか成立せず、その乖離は実験的に定量化されている。
重要な点として、CollabEdit のマージは FedAlphaEdit のマージ則において射影行列 P₀=I とした場合の特殊ケースに相当することが命題 5 として示されており、FedAlphaEdit が既存手法を包含する上位互換であることがわかる。
実験結果
GPT-2 XL と Qwen2.5-1.5B の二つのアーキテクチャファミリーでの評価において、FedAlphaEdit は以下の改善を達成したと報告されている。
- ヌル空間外漏れ（oons）: 14% から測定フロア（≈3×10⁻⁴%）まで回復
- Neighborhood Specificity: 集中編集レベルまで回復
- Edit Success: 集中編集レベルとの差を大幅に縮小
これらの改善はクライアント数 N が変化しても安定して維持されることが図 1 で示されている。
意義と今後の展開
著者らは本手法について、病院や金融機関のように生の編集データを共有できない機関が共有モデルを協調してメンテナンスする上での現実的な解決策となり得ると述べている。なお論文は、データを手元に留めることはデータローカリティ特性であり、それ自体がプライバシー保証ではないという点についても明示的に言及しており、プライバシーとデータローカリティを混同しないよう注意を促している。
FedAlphaEdit は 著者らの知る限り、ローカル編集とサーバーサイドのマージ則の双方を単一のヌル空間原理に整合させた初の協調知識編集フレームワークであるとしている。今後は近似的なヌル空間での逐次編集時の誤差蓄積や、より強固なプライバシー保証との統合が課題となるだろう。
出典: FedAlphaEdit: Null-Space-Aligned Merging for Collaborative Knowledge Editing