AI
Meta FAIRの「自己改善メモリ」、継続学習ベンチで56.0を記録——人間が書いたプロンプトを上回る
2026/11/20
Meta FAIRが「自己改善メモリ」を発表——AIが自分のメモリ戦略を書いて学習
Meta FAIRは、AIエージェントがファイルベースのメモリを自律的に管理するための手法「Self-Improving Memory」を発表した。ワシントン大学およびジョンズ・ホプキンス大学の研究者との共著によるもので、エージェントが自らメモリ管理の指示を発見し、その能力をモデルの重みへと蒸留するという2段階構成が特徴だと報告されている。
ベースモデルと技術概要
本手法のベースとなるモデルは Kimi-K2.6。総パラメータ数1兆、アクティブパラメータ32B、コンテキスト長256KのMoEアーキテクチャを採用している。蒸留段階では、アテンションプロジェクション層に対してランク64のLoRAアダプターを適用する。なお、学習時のハードウェア構成は公開されていない。
2段階の仕組み:発見と蒸留
ステージ1:ハーネス最適化(Discover)
エージェントはタスクのストリームを処理する。各サブタスクは空のコンテキストから始まり、ファイルツールで編集できる「永続的なメモリディレクトリ」のみが次のサブタスクへ引き継がれる。
メモリ管理は2種類のプロンプトで制御される。OFFLOAD はサブタスク完了後にメモリを更新し、LOAD は次のサブタスク開始前に情報を取得する。汎用版ではモデルに戦略を委ねる構成だが、単一の人手書き戦略がすべてのタスクで最良とはならないことが先行研究で示されているという。
最適化フェーズでは、メタエージェントがLOADとOFFLOADのプロンプトを書き換える。Summary・Retrieval・Skill・Hypothesisという4種の人手書きシードから検索を開始し、各候補をタスクストリームで5回実行。上位4件を親として改訂プロンプトを生成する。選択にはメタエージェントが参照できないホールドアウトセットを使用する。
発見されたプロンプトは具体的な内容を持っている。たとえばDatabaseタスク向けのプロンプトでは「GUARDRAILS.mdを読み、次にSCHEMA.mdを読んでから回答する」と明示しており、Codebaseタスクではクイックスタートファイル・インデックス付き修正レジストリ・個別修正ファイルを組み合わせた設計が最良とされている。
ステージ2:ハーネス蒸留(Demonstrate → Distill)
Discover-Demonstrate-Distill パイプラインの後半では、タスクエージェントが最適化されたプロンプトでトレーニングサブタスクを実行し、すべてのモデル呼び出しをログに記録する。研究チームはその履歴に含まれる最適化プロンプトを汎用プロンプトに差し替えた上で、LoRAを用いてファインチューニングを行う。損失はアシスタントトークン(推論とツール呼び出しを含む)のみに適用し、各タスクに等しい重みを与える。
注目すべき点として、メタエージェントとタスクエージェントは同一のKimi-K2.6モデルである。つまり、モデルは自分自身が発見したメモリスキルで自分自身を学習することになる。
ベンチマーク結果
評価にはContinual Learning Benchの3タスク(Database・Codebase・Spectrum)を使用。テストサブタスクにはフェーズシフトが設計されており、同一タスクの新規インスタンスへの汎化性能を測る構成となっている。
| 手法 | Database | Codebase | Spectrum | 平均 |
|---|---|---|---|---|
| メモリなし | 7.5 | 31.8 | 21.9 | 20.4 |
| Compaction | 39.8 | 36.9 | 34.6 | 37.1 |
| 汎用ハーネス | 32.3 | 33.5 | 42.5 | 36.1 |
| 人手書き最良 | 47.9 | 43.7 | 42.1 | 44.6 |
| 最適化ハーネス | 53.8 | 64.3 | 49.9 | 56.0 |
| SFT(汎用軌跡) | 31.6 | 37.5 | 43.6 | 37.6 |
| SFT(最適化軌跡・汎用プロンプト) | 37.7 | 45.1 | 46.5 | 43.1 |
※出典:Self-Improving Memory ブログ Figure 4・5、全行でKimi-K2.6を使用
最適化ハーネスは3タスク全てで人手書き最良を上回り、3タスク平均で56.0を達成した。最も大きな改善はCodebaseで、+20.6ポイントを記録している。一方で検索プロセスはノイジーであり、生成された44件の改訂候補のうち37件は前回最良を更新できなかったと報告されている。DatabaseとSpectrumは第1世代でピークに達したが、Codebaseは第4世代まで改善が続いたという。
蒸留後は全モデルが汎用ハーネスで動作する。最適化軌跡で学習した蒸留済みモデルは10シードの平均で43.1を達成し、汎用軌跡によるSFT(37.6)から5.5ポイント(約14.6%)の向上となっている。なお、Spectrumタスクでの蒸留ゲインは2.9ポイントにとどまった(46.5 vs 43.6)と記されており、タスクによって効果に差がある点も示されている。
まとめ
Self-Improving Memoryは、AIエージェントが自らのメモリ管理戦略を探索し、その知見をモデル自体の重みへと組み込む手法として注目される。今回の結果はMarkTechPostの抜粋記事および研究ブログポストに基づくものであり、論文の全詳細は原著を参照されたい。
出典: Meta FAIR Self-Improving Memory Hits 56.0 on Continual Learning Bench