Research
動画理解の「本当の実力」を測る──新ベンチマーク「VidOmni-Bench」が明かすVideo-LLMの限界
2026/09/22
動画AIの「見かけ上の高性能」に疑問符
近年、動画を理解する大規模言語モデル（Video-LLM）は、質問応答や動画検索などのタスクで目覚ましい成果を上げている。しかし、韓国大学・成均館大学・東京大学・OMRON SINIC X Corporationの研究者らが発表した論文によれば、既存のベンチマークでは「細粒度の動画理解能力」を信頼性高く評価できていないという。
既存のベンチマークの多くは、多肢選択式の質問応答（MCQA）や人手で書かれたキャプションとの照合に依拠している。前者はモデルが局所的な手がかりや言語的ショートカットを利用して正答できてしまう恐れがあり、後者は短い動画・疎なイベント記述に偏りがちで、多様な尺・密なイベント記述への対応が難しいと著者らは指摘する。
VidOmni-Benchとは何か
こうした課題に対応するために提案されたのが「VidOmni-Bench」だ。このベンチマークの核心は**「文単位のイベント検証タスク」**にある。モデルは動画に対して生成された密なキャプション（Dense Caption）の各文を受け取り、その文が動画の内容に事実として裏付けられているか否かを二値で判定する。単に「動画を説明せよ」ではなく、「この説明は正しいか？」を問う設計だ。
データセット構成
論文によれば、VidOmni-Benchは以下の特徴を持つ。
- 500本の動画：4秒から90分という多様な尺を網羅
- 5種類の時空間複雑度：①静的世界（Static World）、②身体動作（Body Motion）、③手・物体のインタラクション（Hand-Object Interaction）、④群衆行動（Crowd Action）、⑤マルチシーン動態（Multi-Scene Dynamics）に分類
- 3つの尺ブラケット：短（3分以内）、中（4〜30分）、長（30分以上）で各複雑度タイプにつき均等に分配
- 433本は音声トラックも含む
動画はエゴセントリック行動、異常イベント、長尺コンテンツなど公開データセットやYouTube（クリエイティブ・コモンズライセンスのみ）から収集されている。
アノテーションパイプライン
キャプション生成には5種類のVideo-LLM（InternVL3.5・38B、Qwen3-VL・32B、video-SALMONN 2+・72B、Keye-VL 1.5・8B、Gemini 3 Flash）を使用し、各動画に対してランダムに割り当てられたプロンプトテンプレートで生成することで合計2,500本の動画キャプションペアを得ている。
人手によるアノテーションは2段階で実施される。第1段階では5人の独立したアノテーターが各文を「正確・不正確・不明」の3値でラベリングし、多数決で最終ラベルを決定。第2段階では「不正確」と判定された文について、エラーを引き起こした語句を特定し、10カテゴリ（静的フレーム理解に関するもの：オブジェクト・関係・位置・方向・錯覚、時間理解に関するもの：行動・順序・因果・頻度・状態変化）に分類する。こうして人手検証された「不正確な文」がハードネガティブとして評価に使われる。
最終的には6万4,000文以上がアノテーションされたとされる。
3つの主要な発見
論文の実験結果として、著者らは以下の3点を報告している。
1. Video-LLMは密なキャプション生成で高頻度に幻覚を起こす
Table 1によれば、生成されたキャプションに少なくとも1文以上の誤りが含まれる動画の割合（Video Incorrect Rate）は全モデルで85〜94%に達している。また、キャプション1件あたりの文単位の誤り率も24〜45%と高水準だ。エラーカテゴリの分析では、行動・順序・頻度といった時間的エラーが大きな割合を占め、現状のVideo-LLMが細粒度の時間的推論に苦手意識を持つことが示唆されるという。
2. モデルは「検証者」としても機能しない
生成だけでなく、他モデルが生成した誤りのある文を検出する「検証者」としての役割でも、Video-LLMは信頼性高く機能しないと著者らは述べている。見た目には自然に見えるが実際には誤っているイベント記述（ハードネガティブ）を一貫して識別できないケースが多いという。
3. 弱点は動画の複雑度・尺によってモデルごとに異なる
複雑度タイプ・動画の長さによってモデルの弱点が変化し、単一の失敗パターンではなくモデル固有のボトルネックが存在することが明らかになったと報告されている。特にMulti-Scene Dynamics（タイプ5）の動画では、尺に関わらず文単位の誤り率が一貫して高い傾向が見られるとされる。
既存ベンチマークとの比較
論文のTable 2では、VidOmni-Benchを既存の主要ベンチマーク（Video-MME、ARGUS、NOAHなど）と比較している。注目すべき指標は「Certificate Coverage（Cert. Cov.）」で、各文の検証に必要な動画区間の広さを示す。VidOmni-BenchのCert. Cov.は**54.0%**で、既存ベンチマーク（最大32.3%）を大きく上回る。これはモデルが動画全体を広く参照しなければ正解できない設計になっていることを示しており、局所的な情報だけで回答できてしまう問題を抑制していると著者らは主張する。
意義と今後の展望
VidOmni-Benchは、Video-LLMの評価が「表面的な問答」から「細粒度のイベント検証」へと深化する方向性を示す試みだ。幻覚の多さや時間的推論の弱さが定量的に示されたことで、モデル改善の具体的な指針が得られると期待される。一方、アブストラクト・本文ともに実験の詳細な数値（個別モデルの検証精度など）については記述の途中で切れている部分もあるため、完全な実験結果はフルペーパーおよび公開予定のデータセット・コードを参照する必要がある。
著者らはVidOmni-Benchが「現状のVideo-LLMには、密で多様な動画コンテンツを忠実に解釈するために必要な、時間的に根拠づけられた堅牢なイベント理解がまだ欠けている」ことを示すものと結論付けている。