TIP
← Research

Research

検出には活性化値、介入にはグラジエント──言語モデルの標的特徴学習を系統比較

2026/11/22

概要:「標的特徴学習」という問い

言語モデルの内部表現を理解しようとするとき、研究者は大きく二つのアプローチを取る。ひとつは Sparse Autoencoder(SAE) のように、概念の指定なしに大規模な特徴辞書を学習し、後から各特徴と概念の対応を探すアプローチだ。もうひとつは、調べたい概念をあらかじめ決めてから特徴を構築する、仮説駆動型の手法である。

パッサウ大学のJonathan DrechselとSteffen Herboldは、後者を 標的特徴学習(targeted feature learning) と定義し、どのようなモデルシグナルと推定器を組み合わせると「検出」と「介入」それぞれで最も高い性能が得られるかを系統的に比較した論文を発表した。

3×2の設計:シグナルと推定器を組み合わせる

著者らは、特徴を構築する際に使える モデルシグナル として次の3種類を設定した。

  • 活性化値(activation values)
  • 活性化グラジエント(activation gradients)
  • パラメータグラジエント(parameter gradients)

さらに、各シグナルから1次元特徴を取り出す 推定器 として2種類を用意した。

  • 対照平均(contrastive mean):事実ターゲットと代替ターゲットの平均シグナル差を方向ベクトルとして使う
  • IEND(Interpretable ENcoder Decoder):1次元のエンコーダ・デコーダを学習する手法で、GRADIEND から一般化したもの

この組み合わせにより、計6通りの標的手法が生まれる(表1)。既存手法として CAA(Rimsky et al., 2024)と GRADIEND(Drechsel and Herbold, 2026a)が含まれ、残る4手法──ACTIEND、CAGA、AGIEND、CGA──が今回新たに提案されたものだ。

シグナル対照平均IEND
活性化値CAA(既存)ACTIEND(新規)
活性化グラジエントCAGA(新規)AGIEND(新規)
パラメータグラジエントCGA(新規)GRADIEND(既存)

特徴の「検出」と「介入」という二つの評価軸

本研究では、特徴の質を2つの側面から評価する。

  1. 検出(detection):学習した特徴スコアが、指定した概念と代替概念を正しく区別できるか
  2. 介入(intervention):その特徴ベクトルを用いてモデルの動作を因果的に変化させられるか(いわゆるステアリング)

評価対象は 15タスク・10種の言語モデル に及び、SAEを「非標的」な参照手法として比較に加えている。タスクには性別(Gender)、間接目的語同定(IOI)、言語識別(LangID)などが含まれると論文中で言及されている。

主な発見:検出と介入は相補的な性質を持つ

著者らが報告した最大の知見は、検出と介入では最適なシグナルが異なる という点だ。

  • 検出性能が最も高いのは活性化値を用いる対照平均手法、なかでも CAA が代表的な例として挙げられている。
  • 介入性能が最も高いのはグラジエント系のシグナルを用いる手法、特に対照平均と組み合わせた CGA が最強とされる。

さらに重要な発見として、活性化グラジエントを用いた CAGA は、パラメータ空間への介入を必要とせずに、CGA に近い介入性能を達成できる と報告されている。これは、グラジエント情報の優位性の多くが、パラメータ空間への書き込みではなく、グラジエントそのものから来ていることを示唆する。

推定器については、対照平均を IEND に置き換えると、検出性能が一貫して低下し、介入性能には一貫した改善が見られないという結果が得られたと著者らは述べている。シグナルの種類と推定器の選択が、それぞれ独立に特徴の質に影響を与えており、どちらか一方だけで最適手法を決めることはできないという結論だ。

SAEとの比較:標的学習の意義

SAEは事後的な概念同定に依存するため、特徴分割(feature splitting) や 特徴吸収(feature absorption) といった問題が生じることがある。著者らはこれを、より広い概念が分割されたり、解釈可能な特徴に系統的な抜け穴が生じたりする問題として位置づけている。事前に概念を指定する標的特徴学習は、こうした問題を原理的に回避できる点が利点のひとつだと主張されている。

まとめ

この研究は、言語モデルの解釈可能性研究においてしばしば混同されてきた「どのシグナルを使うか」と「どの推定器を使うか」という二つの設計選択を、3×2の制御比較によって初めて体系的に切り分けた点で貢献が大きい。検出に強い手法と介入に強い手法が明確に分かれるという知見は、解釈可能性研究の目的に応じた手法選択の指針を与えるものといえる。コード・データ・SAEとの詳細比較を含む全実験の結果は論文本文および付録に記載されている。


出典: Gradients for Interventions and Activation Values for Detection: Targeted Feature Learning in Language Models