Research
ファインチューニングがLLM内部に与える影響を解明——「変化が大きい層」と「重要な層」は別物だった
2026/09/22
ファインチューニングの「内側」を覗く
大規模言語モデル（LLM）を特定のタスクに適応させる手法として、ファインチューニングは広く普及している。しかし、ファインチューニングがモデルの内部メカニズムをどのように変化させるかについては、これまで十分に理解されていなかった。arxivに投稿された論文「Decoupling Internal Representational Changes and Causal Importance in Fine-Tuned Large Language Models」（arXiv:2609.21113）は、この問いに正面から取り組んだ研究として注目される。
EAPで「因果的に重要なコンポーネント」を特定
研究チームは、ファインチューニングによってLLMの内部表現——アテンションパターンや層ごとの活性化——がどう変わるかを調査した。その際、EAP（Edge Attribution Patching）と呼ばれる手法を用いて、タスク性能を実際に駆動している「タスク関連コンポーネント」（アテンションヘッドやロジットレベルの活性化など）を同定している。
「変化が激しい層」≠「重要な層」
研究から得られた主要な知見の一つは、EAPによって特定されたコンポーネントが特定の層に集中しているというものだ。これはモデルがタスク固有の挙動を内面化する際に、ある程度の「機能的局在」が存在することを示唆していると報告されている。
より重要な発見として、EAP特定コンポーネントの層ごとの分布は、ファインチューニング中に最も大きな表現変化を示す層とほとんど相関していないことが示された。つまり、学習によって表現が大きく書き換えられている層が、必ずしもタスク性能に因果的に貢献しているわけではないということだ。この「表現変化の大きさ」と「因果的重要性」の乖離は、LLMの解釈可能性研究において重要な含意を持つ。
タスク間でコンポーネントが重なると「干渉」が起きる
もう一つの注目すべき知見は、複数タスク間の関係に関するものだ。あるタスクで同定されたEAPコンポーネントが別のタスクと重複していたとしても、タスクの性質が異なる場合（例：分類タスク vs. 生成タスク）、クロスタスクの性能転移には繋がらないと報告されている。
それどころか、EAP特定コンポーネントの重複度が高い二つのタスクにおいて、一方のタスクでファインチューニングを行うと、もう一方のタスクの性能が低下するケースが観察されたという。これは、異なる目的でファインチューニングを繰り返す際に生じる「破滅的忘却」や性能劣化の一因を、内部メカニズムの観点から説明しうる知見として受け止めることができる。
研究の意義と今後の展望
この研究は、ファインチューニングの効果を表面的な性能指標だけでなく、モデル内部の因果構造の観点から評価することの重要性を浮き彫りにしている。「どの層が変化したか」と「どの層がタスクにとって重要か」を切り離して考えることで、より効率的なファインチューニング戦略や、意図しない性能劣化を避けるための設計指針が得られる可能性があると考えられる。
LLMの内部解釈可能性はいまだ発展途上の分野だが、EAPのような因果的帰属手法と表現変化分析を組み合わせるアプローチは、モデルの「ブラックボックス」性を解消する有力な方向性の一つとして研究者の関心を集めている。