TIP
メニュー
EN
← Research

Research

AIベンチマークスコアを徹底解説 — 何を測り、誰が測定し、どこまで信じていいのか

2026/09/20

1. なぜ「スコアが高い」だけでは判断できないのか

モデルの発表のたびに「MMLUで◯◯%」「SWE-benchで◯◯%」という数字が並ぶ。しかし、これらのスコアが具体的に何を測っているのか、誰がどうやって測定しているのか、そしてその数字がどこまで信頼できるのかは、案外知られていない。本稿では、代表的なベンチマークの中身、測定主体の違い、そして客観性をめぐる実際の問題と対策を、できる限り具体的に整理する。

2. 代表的なベンチマークは、それぞれ何を測っているのか

ベンチマークは大きく「知識・推論系」「コーディング系」「総合的な人間の好み系」に分けられる。

2-1. 知識・推論を測るベンチマーク

  • MMLU（Massive Multitask Language Understanding）: 数学・法律・医学・歴史など57分野にまたがる択一式問題で、幅広い学術的知識と推論力を測る。「物知りで、かつ正しく推論できるか」の総合指標として長らく業界標準とされてきた。
  • GPQA（Graduate-Level Google-Proof Q&A）: 生物・物理・化学の大学院レベルの問題で構成され、その分野の専門家（PhD保持者）でなければ検索を使っても正解しにくいように設計されている。名前の「Google-Proof（検索しても解けない）」が示す通り、単なる知識検索ではなく専門的推論力を測ることを狙ったベンチマークだ。
  • GSM8K／MATH: 前者は小学校高学年レベルの文章題、後者は数学オリンピック級の競技数学の問題集。基礎的な計算・論理展開能力から、高度な数学的推論力までを段階的に測る。
  • ARC-AGI: 提唱者のFrançois Chollet氏が「暗記では解けない、初見のパターンに対する抽象的な推論力」を測ることを目的に設計したベンチマーク。人間なら初めて見る図形パターンの規則性を難なく見抜けるが、多くのAIモデルは苦戦する、という差が出るように作られている。
  • FrontierMath: Epoch AIが運営する、未発表の数学の難問集。数百問のうち大半は公開されておらず、既存の数学オリンピック問題集などと違って「学習データに紛れ込みようがない」新作問題である点が特徴。

2-2. コーディング能力を測るベンチマーク

  • HumanEval: 164個のPython関数を、隠されたテストケースに合格する形で書けるかを測る、比較的シンプルなベンチマーク。単体の関数レベルのコード生成力を測る。
  • SWE-bench（および人手検証版のSWE-bench Verified）: 実在するGitHubリポジトリの実際のissue（不具合報告）を渡し、そのリポジトリ全体のコードベースを理解した上で、実際に問題を解決するパッチを生成できるかを測る。単発のコード片ではなく、「本物のソフトウェアエンジニアリング業務」に近い形式である点が、HumanEvalとの大きな違いだ。

2-3. 総合的な「使い勝手」を測るベンチマーク

  • Chatbot Arena（現Arena）: LMSYS（UC Berkeley発）が運営する、人間の生の好みを集めるプラットフォーム。ユーザーが匿名の2つのモデルにプロンプトを送り、どちらの回答が良いかを投票する「ブラインド方式」を採用し、チェスのレーティングと同じElo方式でランキングを算出する。2026年時点で360以上のモデル、680万件を超える投票が蓄積されているとされる。

3. 誰が、どうやって測定しているのか

ここが実は一番重要な論点である。ベンチマークスコアの出所は、大きく3種類に分けられる。

  1. モデル開発企業による自己申告: 新モデルの発表ブログやモデルカードに載る数字の多くは、開発企業自身が自社のモデルを走らせて測定した結果である。どのベンチマークを、どの設定で報告するかを企業側が選べるため、都合の良い数字だけを並べる余地が構造的に存在する。
  2. 学術機関・非営利団体によるベンチマークの設計・公開: MMLU、GPQA、ARC-AGIなどは、大学の研究者や非営利団体が設計・公開しているものであり、ベンチマーク自体の設計は独立している。ただし、実際にモデルを走らせて数字を出す作業は、多くの場合モデル開発企業自身に委ねられている。
  3. 第三者による独立評価機関: Epoch AI（FrontierMathの運営元でもある）、Scale AIの「SEALリーダーボード」、LMSYSのArenaのように、モデル開発企業から独立した立場で評価を行う組織も存在する。これらは「開発企業に見せない非公開の問題セット」を保持し、自ら評価を実施することで、自己申告の限界を補おうとしている。

4. 客観性を脅かす、実際に起きている問題

4-1. データ汚染 — ベンチマークの答えが学習データに紛れ込む

大規模モデルの学習データはインターネット全体から集められるため、公開されているベンチマークの問題と正解が、そのまま学習データに混入してしまうことがある。これを「データ汚染（contamination）」と呼ぶ。

ジョンズ・ホプキンス大学の研究者らがNAACL 2024で報告した調査によれば、MMLUのテスト項目の29.1%に汚染の兆候が見られたという。さらに、汚染された項目を、意味は同じだが表現を変えた「クリーンな」問題に差し替えて再測定したところ、あるモデル（Mistral）ではGSM8Kのスコアが最大13ポイントも低下したと報告されている。つまり、公表されているベンチマークスコアの一部は、「本当の実力」ではなく「そのベンチマークの答えを覚えていたことによる水増し」の可能性がある、ということだ。

4-2. 資金提供の非開示 — FrontierMathを巡る問題

「学習データに紛れ込みようがない未公開の難問集」として作られたFrontierMathでさえ、客観性を巡る問題が実際に起きている。2025年1月、FrontierMathの開発元であるEpoch AIが、OpenAIから資金提供を受けていたことを、当初の論文発表時には明かしていなかったことが報じられた。

さらに問題視されたのは、OpenAIが単なる資金提供者ではなく、問題と解答の大部分に事前アクセスできる立場にあったという点だ。ベンチマークの目的が「モデルがそのテストを事前に知らない状態で測る」ことである以上、出題者と受験者が同じ側にいるような状況は、ベンチマークの前提そのものを揺るがす。実際に問題作成に協力した数学者の一部は、この資金提供の関係を知らされていなかったと証言しており、Epoch AI自身も「透明性についてもっと強く交渉すべきだった」と事後的に認めている。Epoch AIの主任数学者は、OpenAIのo3モデルの好成績について「個人的には正当だと信じているが、独立した検証が完了するまでは保証できない」とも述べている。

4-3. Chatbot Arenaの投票操作リスクと「大手優遇」疑惑

人間の生の好みを集める方式であるがゆえに操作されにくいと考えられてきたChatbot Arenaについても、学術研究によって脆弱性が指摘されている。2025年に発表された研究では、わずか数百件程度の不正な投票を仕込むだけで、モデルのランキングを最大15位も押し上げられることが、170万件の過去の投票データを使った実験で示された。この研究チームは2024年9月の時点でArena運営側に問題を通知しており、運営側はその後CAPTCHA導入やアカウント認証の必須化、異常検知の強化といった対策を講じている。

また、一部の大手AI企業が、公開ランキングに反映されない非公開のモデル変種を大量にテストし、その中から最も評判の良い結果だけを公開版として提出できる立場にあった、とする「リーダーボードの見え方の歪み（leaderboard illusion）」を指摘する報道もある。プラットフォームの設計自体は中立でも、アクセス条件の非対称性によって、実質的な公平性が損なわれうるという論点である。

5. それでも検証を重視する動き — 具体的な対策

こうした問題が明らかになる中で、「自己申告のスコアをそのまま信じない」ための仕組みも同時に発展している。

  • 人手による問題セットの検証: SWE-bench Verifiedは、元のSWE-benchが抱えていた「問題文が曖昧」「テストが不適切」といった欠陥を取り除くため、93名のプロのソフトウェア開発者による人手レビューを経て、5,000件近い候補から500件の「解ける問題」だけを厳選して作られている。これにより、測定結果のばらつきが減り、研究間での比較がしやすくなったとされる。
  • 非公開・保留セットの活用: ARC-AGIは、公開されている訓練・評価セットとは別に、外部に一切公開しない「非公開評価セット」を保持しており、公式のリーダーボード発表にはこちらの数字だけを使う設計になっている。FrontierMathも、OpenAIとの一件を受けて、OpenAIが問題文しか見られず、解答には一切アクセスできない50問の保留セットを新たに設けたと報告されている。Scale AIのSEALリーダーボードも同様に、非公開データセットを使うことで「学習データへの混入を原理的に防ぐ」ことを謳っている。
  • 第三者による再評価: Epoch AIのように、モデル開発企業とは別の第三者が独自にモデルを走らせて数字を検証する、という取り組みも増えている。これは、開発企業の自己申告値をそのまま追認するのではなく、独立した立場から再現性を確認する動きだ。

6. 現時点で最新のベンチマーク — なぜ次々と新しいものが登場するのか

MMLUやGSM8Kのような従来の定番ベンチマークは、フロンティアモデルの性能向上によって軒並みスコアが90%台後半に達し、「ほぼ全員が満点近くを取ってしまい、モデル間の差が測れなくなる」（飽和・saturation） という問題に直面している。この飽和を受けて、2025年以降、より難しく、より実務に近い新世代のベンチマークが相次いで登場している。

6-1. Humanity’s Last Exam（HLE）— MMLUの「後継」として設計された最難関試験

Center for AI Safety（CAIS）とScale AIが共同で開発し、2025年1月に公開したベンチマーク。数学・物理・生物・人文科学など100以上の分野にまたがる2,500問を、50か国・500以上の研究機関に所属する約1,000人の専門家（教授・研究者・博士号保持者が中心）から集めて作成した。GPQAと同様「検索してもすぐには解けない」設計になっており、名前の通り「人類が用意できる最後の（最も難しい）試験」を目指している。過学習を検知するための非公開の保留セットも維持されている。

6-2. GDPval — 「経済的価値のある実務」で測るOpenAIのベンチマーク

OpenAIが2025年に公開した、学術的な試験問題ではなく実際の職業における成果物でモデルを評価するベンチマーク。米国のGDP上位9セクターにまたがる44の職種を対象に、平均14年の実務経験を持つ現役の専門家が作成した課題を使う。成果物は文書・スライド・図表・スプレッドシートなど多岐にわたり、自動採点が難しいため、人間の専門家による「どちらが良い成果物か」の直接比較を主な評価方法としている。1課題あたり平均5回の人手レビューを含む3段階の品質管理を経ており、220課題からなる一般公開用の「gold」サブセットも用意されている。

6-3. Terminal-Bench — 「実際にシステムを操作させる」エージェント評価

スタンフォード大学とLaude Instituteが開発した、AIエージェントにコンピューターの端末（ターミナル）環境を実際に操作させて評価するベンチマーク。科学計算・ソフトウェア開発・機械学習・セキュリティ・システム管理など多分野にまたがる89の課題があり、それぞれDockerコンテナ上に再現された実行環境、正解となる手順（オラクル解）、そして自動検証テストが用意されている。単発のコード生成ではなく、「環境構築からモデルの訓練、デバッグまでを実際にやり遂げられるか」という、より実務的な自律性を測る点が特徴だ。なお本誌が別記事で取り上げたセキュリティ研究者のNicholas Carlini氏も、開発陣の一人として名を連ねている。

6-4. METRの「タイムホライズン」— 精度ではなく「どれだけ長い作業を任せられるか」を測る

ここまでのベンチマークがすべて「正答率」を測るのに対し、AI安全性の研究団体METRが提案する指標はまったく異なる切り口を取る。**「人間の専門家がこなすのに何時間かかる作業を、AIエージェントが一定の信頼度（50%または80%）で完遂できるか」**という「タスク完遂時間の地平線（time horizon）」を測定する。METRの分析によれば、この時間の長さは過去数年、約7か月ごとに倍増するペースで伸び続けており、2026年1月の更新版では、2023年以降のペースがさらに加速し、約4.3か月ごとに倍増していると報告されている。「どれだけ物知りか」ではなく「どれだけ長時間、人間の監督なしに作業を任せられるか」という、実務導入の判断に直結する指標として注目されている。

6-5. 複数のベンチマークをまとめる「メタ指標」も登場

個々のベンチマークの一長一短を補うため、第三者評価機関のArtificial Analysisは、HLE・GDPval・Terminal-Bench・SciCodeなど10種類の評価を独自の重み付け（エージェント・コーディング・総合知識・科学的推論の4分野に25%ずつ配分）で統合した「Intelligence Index」という複合スコアを公開している。同社は評価をすべて自社で独立に実行し、同一モデルを10回以上繰り返し測定した場合の95%信頼区間が±1%未満に収まるようにする、といった統計的な再現性の担保にも取り組んでいるとしている。

これらの新世代ベンチマークにも、前章で見たものと同種の課題（測定主体の独立性、非公開セットの範囲、企業からの資金提供の有無など）が同様に当てはまる。「新しいから信頼できる」わけではなく、新しいベンチマークについても、誰が運営し、どこまで検証されているかを同じ基準で確認する必要がある。

7. 実務者への示唆

ベンチマークスコアを見るときに実務上おさえておくべきことは、以下の3点に整理できる。

  1. そのスコアが何を測っているかを、自分のユースケースに照らして確認する（本誌の別記事「AIの性能仕様を分かりやすく」も参照）
  2. そのスコアが誰によって測定されたのかを確認する。開発企業の自己申告なのか、独立した第三者による評価なのかで、割り引いて受け取るべき度合いが変わる
  3. 公開ベンチマークか、非公開・保留セットによる評価かを区別する。公開ベンチマークでの高スコアは、データ汚染の可能性を差し引いて見る必要がある

ベンチマークスコアが無意味だというわけではない。ただし、「数字が高い＝信頼できる」という単純な図式ではなく、「誰が、どのような検証プロセスを経て出した数字か」まで含めて評価する視点が、2026年時点でのAI業界において、ますます重要になっている。