Research

LLMの隠れ表現から元テキストを復元——「Rep2Text」が示すプライバシーリスク

2026/10/21

LLMの「最終トークン表現」に何が詰まっているのか

大規模言語モデル（LLM）が内部でどのような情報を保持しているかは、長らく「ブラックボックス」とされてきた。ニュージャージー工科大学・国立シンガポール大学・シスコリサーチなどの共同研究チームが発表した論文「Rep2Text」は、この問いに対して新たな切り口から挑む。彼らはLLMの最終トークン表現（last-token representation）1つだけから、元の入力テキストを自動的に再構築するフレームワークを提案した。

論文によれば、Wikipediaから切り出した16トークン程度の短文に対して、Rep2Textは元のトークンのおよそ半数を単一の表現から回復できると報告されている。また意味的な一貫性（semantic coherence）も高く保たれるという。

フレームワークの設計——LLaVA的アーキテクチャを言語に応用

Rep2Textのアーキテクチャは、大規模視覚言語モデル（LVLM）であるLLaVAの設計思想にヒントを得ている。画像エンコーダの出力をテキストデコーダに橋渡しするアダプタ層を、LLMの隠れ表現とテキストデコーダの間に置くという発想だ。

具体的な構成は以下の2要素からなる。

学習可能なアダプタ：ターゲットモデルの最終トークン表現を、デコーダ用LLMのトークン埋め込み空間に射影する。アダプタはGELU活性化関数とゲート付きスキップ接続を備えた2層MLPとして実装される。
デコーダ用LLM：射影された埋め込みをシステムプロンプト・ユーザープロンプトの埋め込みと結合し、元のテキストを自己回帰的に生成する。

学習戦略は2種類用意されており、「アダプタのみ調整」と「アダプタ＋デコーダのLoRAによる全体調整」が比較されている。学習データにはThe PileからWikipedia記事をランダムにトリミングした系列を使用し、アダプタのみ調整には64万件、全体調整では合計160万件の系列が用いられたと論文に記されている。

実験結果——情報ボトルネックの実態

論文が明らかにした主な知見は以下の通りだ。

トークン長と回復率のトレードオフ

16トークン以下の短い系列では回復率が高い一方、系列が長くなるにつれてトークン単位の精度は低下する。ただし意味情報は比較的よく保たれ続けると報告されている。著者らはこれを情報ボトルネック効果と呼んでいる。

層と情報の種類

ターゲットモデルのどの層から表現を取り出すかも結果に影響する。構造的情報は中間より前の層に顕著で、意味情報は中間から後半の層でより強く保持されているという。

デコーダの「家族」が重要

デコーダモデルとしてLlama-3.2-3B・Llama-3.1-8B・Qwen-2.5シリーズ（14B/32B/72B）などを評価した結果、デコーダのモデルファミリー（系列）がスケールよりも回復率に大きく影響することが判明したと述べられている。

分布外データへの一般化

Wikipediaで学習したアダプタを臨床データ（分布外）に適用した実験では、部分的な汎化が確認されたと報告されている。

プライバシーへの示唆

今回の研究が特に重要な意味を持つのは、プライバシーの観点からだ。LLMの内部表現が第三者に漏洩した場合、元の入力テキストの一部が再構築できる可能性が示された。著者らは「隠れ表現は元の入力の一部を明かすリスクがある」と明記しており、モデルの埋め込みやアクティベーションを外部に公開する際の安全設計の見直しを促す結果と言えるだろう。