AI
人間には簡単でもAIには難しい——視覚認知ベンチマーク「HumanSightBench」が示すMLLMの限界
2026/11/17
人間が難なく解ける視覚問題、AIはなぜ苦手なのか
マルチモーダル大規模言語モデル(MLLM)は、知識集約型の問題や推論を要する視覚言語タスクで高いスコアを記録している。しかし、人間であれば簡単に答えられるような視覚的な質問に対しては、依然として苦戦することが多い。この「人間とMLLMの差」を正確に測ることは従来の評価手法では難しく、その理由として著者らは次の点を挙げている。エンドツーエンドの評価が複数のスキルを混在させてしまうこと、個々の問題が本当に妥当かどうかが不明瞭なこと、そして観測されるエラーが視覚知覚なのか言語的な事前知識なのか質問の曖昧さなのかを区別しにくいことだ。
HumanSightBenchの設計思想
こうした課題に対処するために提案されたのが HumanSightBench である。アブストラクトによれば、このベンチマークの設計指針は「人間にとっては構造的に易しく、モデルにとっては評価上難しい」問題を作ることにある。
データセットは 2,876件の視覚質問 で構成され、短答形式の回答を求める。問題は 7つの上位知覚カテゴリ と 21のサブカテゴリ に分類されている。
5つの「包含ゲート」による品質管理
HumanSightBenchが特徴的なのは、収録問題の品質を担保するために設けた 5つの包含ゲート(Inclusion Gates) だ。著者らによれば、すべての問題が以下の条件を通過する必要があるという。
- 質問の明確性(Question Clarity)
- 回答の一意性(Answer Uniqueness)
- 視覚的根拠の存在(Visual Grounding)
- 人間による解答可能性(Human Solvability)
- テキストのみによるショートカットの排除(Text-only Shortcut Filtering)
この仕組みにより、曖昧さや外部知識による混入要因を減らし、純粋に視覚知覚能力を問えるよう設計されていると報告されている。エラーの定義も厳密で、「評価インターフェース上で人間が検証した視覚タスクに対する不正解」とされている。
評価結果:カウンティングで全モデルが27.5%以下
アブストラクトによれば、8つのMLLMを対象に評価を行った結果、最も高いpass@3スコアは65.6% にとどまったという。さらに顕著なのが「Counting(物体のカウント)」カテゴリで、評価対象のいずれのモデルも27.5%を超えなかった と報告されている。
この結果は、全体スコアでは見えにくい能力のギャップを浮き彫りにするものだと著者らは述べている。たとえば総合スコアが高いモデルであっても、カウンティングのような特定の知覚タスクでは大きく失敗している可能性があることを示唆している。
今後の活用に向けて
著者らはこのベンチマークが、将来のモデルの学習実験やホールドアウト評価(未公開テストセットによる評価)に役立てられることを期待していると述べている。MLLMの評価における「何が実際に測られているのか」という根本的な問いに対し、HumanSightBenchは一つの実践的な答えを提示しようとしている。なお、本記事はアブストラクトに基づいており、実験の詳細や全カテゴリの数値は論文本文を参照されたい。
出典: HumanSightBench: A Benchmark for Human Visual Perception in MLLMs