Research

LLM生成テキストはBM25などの古典的検索モデルにどう影響するか——ソース偏向の実態を分析した論文

2026/10/17

LLM生成テキストが検索システムにもたらす課題

インターネット上の文書に占めるAI生成コンテンツの割合は急速に高まっており、2026年までにウェブコンテンツの最大90%がAIGC（AI生成コンテンツ）になりうるとも指摘されている。情報検索（IR）システムはいま、人間が書いた文書とLLMが生成した文書が混在するコーパスをどう扱うかという難題に直面している。

既存研究では、ニューラル検索モデルがLLM生成コンテンツを優先する傾向がある一方、BM25に代表される古典的な語彙ベース検索モデルは人間が書いた文書を優遇すると報告されていた。しかしその背景にあるメカニズムは十分に解明されていなかった。中国科学院計算技術研究所とBaidu Incの研究チームは、この問題を正面から取り上げた論文「How Do LLM-Generated Texts Impact Term-Based Retrieval Models?」をACM WSDM 2026に採録した。

実験設計：並行コーパスと多様な検索モデル

研究チームは、人間が書いた文書とLLMが書き直した文書のペアを含む並行コーパスを構築した。対象データセットはANTIQUE、FiQA-2018、MS MARCO、NQ、HotpotQA、FEVER、Climate-FEVER、SCIDOCSの計8種類で、カジュアルなフォーラム投稿から学術論文まで多様なドメインを網羅する。

文書の書き直しにはLlama-3-8B-Instructを使用し、生成温度は0.2・0.7・1.0の3条件で変化させた。クエリの書き直しにはGPT-4（温度0.2）を用いた。また、合成書き直しだけでなく、ChatGPTが自然に生成した回答を含むHC3-Englishコーパスも評価に組み込み、実環境に近い条件での検証も行っている。

比較した検索モデルはTF-IDF・BM25・Query Likelihood（QL）・Divergence from Randomness（DFR）の4種類。クエリについても人間が書いたものとLLMが書き直したものの両方を使用している点が、先行研究との重要な違いである。

LLM生成テキストの3つの言語的特徴

論文では語彙分布の違いをZipfの法則・用語特異性・表現多様性の3つの観点から分析し、以下の知見が得られたと報告している。

1. Zipf曲線の形状の違い

LLM生成テキストは、高頻度語のZipf曲線が滑らかで、低頻度語の傾きが急峻になるという傾向が確認された。これは、LLMが頻繁に使う「コア語彙」においてはより多様な単語を使いつつ、低頻度の「拡張語彙」域では多様性が低いことを意味する。この特性は、RLHFを通じて読者の読みやすさを最大化するよう訓練されていることと整合的だと著者らは解釈している。

2. 用語特異性（IDF）の高さ

IDF（逆文書頻度）で測定した用語特異性は、LLM生成テキストの方が人間の文書より一般的に高いと報告されている。より具体的・精確な語を選んで使う傾向が数値として現れた形だ。

3. 文書レベルでの表現多様性の高さ

LLM生成文書は人間の文書と比べて文書内の表現多様性が高く、同じ意味を伝える際により広い範囲の同義語を活用する傾向があることが示された。

これらの特徴はいずれも、「最小努力の原理」（話し手と聞き手の双方が通信コストを最小化しようとする言語学的原理）に基づいて説明できると著者らは論じている。LLMは読み手の認知負荷を下げるために多様で特異性の高い表現を使うよう学習されており、その結果として人間の文章とは異なる語彙分布が生じるという解釈だ。

「ソース偏向」の正体：クエリと文書の分布一致度の問題

論文の中核的な主張は、語彙ベース検索モデルは本質的にソース（出典）の偏向を持つわけではないというものだ。

著者らは理論的な分析を通じ、語彙ベース検索モデルの文書ランキングは「クエリの語彙分布」と「文書の語彙分布」の一致度に依存することを示した。そのうえで実験を行ったところ、以下の結果が得られたと報告している。

人間が書いたクエリを使った場合：BM25などの語彙ベース検索モデルは人間が書いた文書を優先した
LLMが書き直したクエリを使った場合：逆にLLM生成文書を優先した

つまり「BM25は人間の文書を好む」という先行研究の観察は、クエリが人間語彙分布を持つという条件に依存した現象であり、検索モデルが出典そのものを区別しているわけではないことが示唆された。クエリとコーパスの語彙分布の近さを測定すれば、モデルがどちらを優先するかを予測できるとも論じている。

この知見はRAG（Retrieval-Augmented Generation）の設計にも示唆を与える。RAGではLLMが生成したクエリが使われることが多くなっており、その場合は語彙ベース検索がLLM生成文書を引き寄せやすくなる可能性がある。

まとめと今後の展望

本研究は、語彙ベース検索モデルにおけるソース偏向の懸念を一定程度払拭しつつ、その見かけ上の偏向が語彙分布の一致度という単純な原理で説明できることを実証的・理論的に示した。コードと補足資料はGitHub（https://github.com/Trustworthy-Information-Access/LLM-Impact-Term-Retrieval）で公開されている。

AI生成コンテンツが検索インフラに与える影響の理解はまだ緒に就いたばかりだが、ニューラル検索モデルにおけるソース偏向のメカニズム解明や、混合ソースコーパスにおける公平な情報アクセスの実現に向けた今後の研究に重要な基盤を提供する成果と言えるだろう。

出典: How Do LLM-Generated Texts Impact Term-Based Retrieval Models?