Research
LLMの残差ストリームを任意方向から解釈する「MAEM」——強化学習で活性化反転を大規模化
2026/11/08
言語モデルの「内側」を読む——任意の残差ストリーム方向を解釈する新手法
Arb Research、MATS、Anthropicの研究者らは、言語モデル（LM）の残差ストリームにおける任意の方向を解釈するための新しいフレームワーク「Maximally-Activating Example Metamodels（MAEMs）」を提案する論文を発表した。コーパス検索や自然言語オートエンコーダ（NLA）といった既存手法を複数の評価軸で上回ると報告されており、機械的解釈可能性（mechanistic interpretability）研究の新たなアプローチとして注目される。
背景——コーパス検索の限界
言語モデルの残差ストリームにおける特定の方向（SAE特徴、線形プローブの重み、ステアリングベクターなど）を解釈する際、従来は大規模コーパスをスキャンして該当方向を強く活性化するテキストを探す「コーパス検索」が主流だった。しかしこの手法には根本的な制約がある。コーパスに含まれるテキストに解釈が縛られるため、その方向を最大限に活性化するような理想的なテキストが見つからないケースが多い。また、見つかったテキストが偶然に活性化している場合もある。
MAEMとは何か
MAEMは、対象モデル（subject model）の残差ストリーム方向 v を入力として受け取り、その方向を強く活性化するテキスト例示（exemplar）を生成するよう訓練されたメタモデルだ。技術的には、対象モデルの重みを初期値として複製し、教師あり学習（SFT）と強化学習（RL） の2段階で訓練される。
報酬関数は、生成テキスト全トークンにわたって目標方向との最大コサイン類似度を計算するシンプルなものだ。この「ラベル不要のRL目的関数」が重要な特性をもたらす。ラベル付きデータが不要なため、自然な活性化・SAE特徴・ステアリングベクターなど多様な種類の残差ストリーム方向を学習データとして活用できる。
方向 v の注入は、MAEMの2番目のトランスフォーマーブロック後のプレースホルダートークンに対して行われ、残差ノルムに合わせてスケーリングされる。生成されたテキストのスコアリングは、注入なしの凍結された対象モデル上で実施される点も設計上の重要な特徴だ。
検証可能性という強み
論文が強調する差別化ポイントの一つが「検証可能性」だ。NLAなど説明文を出力する既存のメタモデルは、その説明の忠実度を人間またはLMジャッジで評価するしかない。これに対してMAEMが生成するテキスト例示は、対象モデルでフォワードパスを実行し、実際に目標方向を活性化するかどうかを直接確認できる。各例示が目標方向を駆動するための十分条件として機能するため、より客観的な評価基準を持つと著者らは主張している。
実験結果——コーパス検索とNLAを上回る
論文ではQwen3.6-27Bをベースに訓練した単一のMAEMチェックポイントを用いて評価が行われた。
活性化反転の精度
保留テキストの残差活性化を反転させるタスクでは、MAEMはコーパス検索（1,000万トークン）とNLAを大きく上回るコサイン類似度を達成したと報告されている。コーパス検索のコサイン類似度が0.60に留まる中、MAEM（best-of-64）は0.87に達し、NLA（0.64〜0.74）も上回った。
言語・ドメインへの汎化
英語データのみで訓練されたにもかかわらず、21の未知言語・ドメイン（非英語9言語、プログラミング言語8種、数学4ソース）のうち12のドメインで、各ドメイン固有の1,000万トークンコーパス検索を上回ったと報告されている。
流暢性
独立モデル（Gemma-4-31B）によるトークンあたり対数尤度評価では、MAEM出力は反転元のソース文章よりもわずかに自然であることが示された。NLAがコサイン類似度は高いものの流暢性が大きく低下するのとは対照的だ。
4つの解釈可能性タスクへの応用
ステアリングベクターの概念同定
334種類のテキスト概念（AxBenchのConcept500データセット）からdifference-of-means方向とBiPO訓練ベクターを構築し、MAEMがその概念を同定できるかを評価した。NLAと同等またはそれ以上の性能を示し、JJ-lensとコーパス検索を上回ったと報告されている。
LoRAバックドアのペイロード読み取り
ランク1 LoRAのライト方向からバックドアのトリガーとペイロードを読み取るタスクでは、コーパス検索がほとんど成功しない中、MAEMは高い回収率を示したとされている。
グローバルワークスペースの言語化
モデルの「内部独り言」とも言えるグローバルワークスペースの内容を言語化するタスクでは、3タスク中2つでNLAに及ばないものの、JJ-lens・Patchscopes・コーパス検索は上回った。
SAE特徴の発火と自動解釈
8つのMAEM例示のバッチで、保留SAE特徴の89%を発火させ、30%の特徴でコーパス検索のピーク活性化を超えた。ただし、SAE特徴の自動解釈テキスト生成タスクでは、コーパスウィンドウを使った説明より品質が低く、NLA例示を使った場合とは同等だったと報告されている。
限界と課題
著者らはいくつかの制限も率直に認めている。SAE特徴の6.5%については一度も発火しなかった。また、コーパス例示と比べてサンプルの多様性が低いことも課題として挙げられている。
まとめ
MAEMは、コーパスの制約を受けずに残差ストリームの任意の方向を解釈できる、ラベル不要かつ検証可能な新しいアプローチだ。ステアリングベクター解釈からLoRAバックドア読み取りまで幅広いタスクへの応用可能性が示されており、解釈可能性研究の「メタモデル」プログラムにおける重要な一歩と位置づけられる。コードはGitHubで、訓練済みモデルはHugging Faceで公開されている。
出典: Towards interpreting any residual stream direction by scaling activation inversion