TIP
メニュー
EN
← Research

Research

長期エージェントのメモリはべき乗則的な「コア＋ロングテール」構造を持つ——CTWM がトークンを最大24.5%削減

2026/10/07

エージェントメモリの「形」が見落とされてきた

長期タスクをこなす言語エージェントは、ベクトルストアやグラフ構造、ページングシステムなど何らかの外部メモリを「凍結されたワールドモデル」として利用することが多くなっている。しかし既存の評価指標はタスク成功率とトークンコストに偏っており、メモリがどのように参照されているかという「分布の形」が見過ごされてきた、とエモリー大学のXinyuan Songおよび東京大学・LocationMindのZekun Caiらは指摘する。

両氏が発表した論文「Heavy-Tailed Memory Traces in Long-Horizon Language Agents」（arXiv:2610.00010）は、有限なコンテキスト窓と繰り返し参照という制約のもとで、エージェントメモリが少数のコアに集中しつつ、残りをロングテールとして持つ構造を自然に形成することを示し、その構造を制御に転用するフレームワークを提案している。

ランダムウォークとLLMポリシーで異なるテール形状

研究の出発点は「テール監査（tail audit）」と著者らが呼ぶ統計的検証だ。Clauset らの手法（Clauset et al., 2009）に則り、適合カットオフ・指数の推定、ブートストラップによる適合度検定、対数正規分布と切断べき乗則の対数尤度比検定を組み合わせた保守的な評価を行っている。

比較したのは2種類のポリシーだ。

  • ランダムウォーク型エージェント：意味的選好を持たずランダムに行動する。有限の上位k件参照を繰り返すため、ハブノードへの集中が生じ「対数正規分布互換」の集中パターンが現れる。ただし純粋なべき乗則の通過率はテストした54セル全てで0%、パワースペクトル密度指数の範囲は[0.048, 0.176]と1/f領域には到底届かない。
  • セマンティックLLMポリシー：ReActスタイルの行動選択を持つ凍結APIモデル。こちらは「切断べき乗則互換（truncated-power-law-compatible）」の強いコア–テール構造を示す。

この違いは実践的に重要だと著者らは述べる。ランダムウォークのテールは「参照アーティファクト」の診断であり、あらゆるログログ曲線をべき乗則と呼ぶ誤りを防ぐネガティブコントロールとして機能する。セマンティックポリシーの下で現れるより強い集中こそが、割り当て制御を価値あるものにするレジームだという。

Core–Tail World Model（CTWM）の仕組み

この監査結果を受けて提案されるのが Core–Tail World Model（CTWM） だ。ランクベースのメモリ制御器であり、以下の3点が特徴とされている。

  1. ランクを使う：異なるメモリバックエンドにわたって参照スコアの絶対値は較正されていないことが多いが、スコアが誘導する順序は通常意味を持つ。CTWMはスコアそのものではなくランクを使って割り当てを行う。
  2. 単一の指数 τ で制御：各ランクへのプロンプト予算は b(r; τ) ∝ r^{-τ} で決まる。τ が小さいほど均一に近く、大きいほどコアへの集中が強まる。
  3. テールを捨てない：低優先度のテール部分は省略するのではなく要約として保持し、レアな状態の予測誤差を抑制する。

このアーキテクチャのポイントは、ベースモデルの再学習も潜在ダイナミクスモデルの導入も不要である点だ。外部メモリのトレース形状という実測値をそのまま制御シグナルとして使う。

実験結果：トークン削減と予測誤差改善を両立

実験は3つの環境で行われている。

合成グラフワールド（Synthetic Graph World）

頂点数100・500・1000の6種グラフファミリーを対象に、Full History・Flat Retrieval・AriGraph式グラフメモリ（ベースライン）・CTWM（τ=1.0）を比較した。グラフメモリベースラインとの対比でCTWMは、

  • プロンプトトークン数を5.9%削減
  • 訪問頻度下位半分の状態における予測誤差（テールエラー）を13.6%低減
  • 全状態・全遷移のカバレッジは維持

という結果が報告されている。

ALFWorld

TextWorldベースの身体化テキスト環境であるALFWorldでも、同様のペア比較で一貫したトークン削減が観測されたと著者らは述べている（具体的な削減率は本論文の記載では詳細が限られる）。

LongMemEval

長期対話メモリのベンチマークLongMemEvalでは、集計精度を同等に保ちながらプロンプトトークンを24.48%削減したと報告されている。

「スケールフリー」とは言わない——保守的な統計姿勢

本論文で注目すべき点の一つは、統計的主張の慎重さだ。著者らは「スケールフリー」「自己組織化臨界（SOC）」といった強い用語を避け、「ヘビーテール」「対数正規互換」「切断べき乗則互換」という限定的なラベルを使っている。これは有限サンプル・ビニング・代替分布の選択によってべき乗則の主張が脆弱になるという先行研究（Clauset et al., 2009; Broido and Clauset, 2019 など）への配慮だ。SOCには周辺テール以上のアバランシェ様事象や時間スケーリングの証拠が必要であり、本論文はそこまで主張しない。

関連研究との位置付け

CTWMはMemGPT・Generative Agents・Reflexion・MemoryBankといった既存の外部メモリ方式と競合するのではなく、それらの上に乗せられる割り当てレイヤーとして設計されている。また、長いコンテキストを与えるだけでは中間部の情報を見落とすという「Lost in the Middle」問題（Liu et al., 2024）や、StreamingLLMが少数の永続トークンを暗黙的に優先するという知見とも連続している。CTWMはこれらの知見を踏まえ、プロンプト予算を非構造的な文脈長パラメータとしてではなく明示的な割り当て問題として扱う立場を取る。

まとめ

エモリー大学・東京大学らによる本研究は、長期言語エージェントのメモリ参照が再現性のあるコア–テール構造を持つことを統計的に示し、その構造を制御シグナルとして活用するCTWMを提案したものだ。合成グラフ・ALFWorld・LongMemEvalにわたる実験で、テールエラーの低減とトークン効率の改善が報告されており、「メモリの形を評価軸に加えるべき」という著者らの主張に実験的根拠を与えている。コードはGitHub（https://github.com/Hik289/world-model-self-organized-criticality）で公開されている。

出典: Heavy-Tailed Memory Traces in Long-Horizon Language Agents