顧客データを一切使わずCopilotを評価——MicrosoftがエンタープライズAI評価基盤を公開

実データは使えない、しかし評価は必要——その矛盾をどう解くか

Microsoft Researchは公式ブログにて、Microsoft Copilotをエンタープライズ規模で評価するための新しいフレームワーク「Industry Evaluation Data Generation Platform」を詳述した記事を公開した。

毎日数百万人のナレッジワーカーがCopilotを使って文書のドラフト、会議の要約、情報の検索を行っている。しかしその品質を担保するための評価には根本的なジレンマがある。評価には組織の複雑な構造や業務フローを再現したテストデータが必要だが、実際の企業データには機密情報が含まれており、いかなる状況でも評価目的には使用できない。

Microsoftはこの矛盾を解消するために、実在の顧客データを一切使わない合成エンタープライズ環境の生成基盤を構築したと報告している。

プラットフォームの3本柱

同プラットフォームは以下の3つの要素で構成されると説明されている。

• 合成エンタープライズ環境: リアルなユーザー、会議、メール、ドキュメント、組織構造を持つ仮想的なMicrosoft Copilot環境（「テナント」）を生成する
• 自動クエリ生成パイプライン: 大規模かつ再現性のある評価データセットを迅速に作成する
• 品質フレームワーク: 合成データが意味のある評価に足る水準を満たしているかを検証する

公開データで「リアリティ」を担保

合成環境の現実味を高めるため、複数の公開データソースをグラウンディングに活用したという。

• O*NETデータ（米国労働省の職業情報データベース）: 合成従業員の役割・職責をリアルに設定し、業種固有のワークフローを再現するために使用
• オンライン求人情報: 役職名、報告系統、部門構成を現実的なものにするために参照
• SEC提出書類: 組織規模、事業部門の構造、財務的な文脈を反映させるために使用

これらはすべて公開情報であり、Microsoftの法務・ポリシー部門による審査・承認を経ているとされる。

また、こうした合成環境は静的なスナップショットではなく、時系列で変化する動的な組織をシミュレートしている点も強調されている。「先週木曜日にチームは何を決定したか？」「前回の四半期レビュー以降、何が変わったか？」といった時間的文脈を必要とするCopilotへの問い合わせに対応するためだという。

医薬品・金融・ITの3業種に対応

現時点では以下の3つの業種向けに合成環境が生成されたと報告されている。

• 製薬: 規制当局への申請ワークフロー、臨床試験の議論、クロスファンクションの安全性レビュー会議
• 資本市場: ディールパイプライン、コンプライアンスコミュニケーション、クライアントポートフォリオのレビュー
• IT・ソフトウェア: スプリントプランニング、コードレビューの議論、製品ローンチの調整

業種固有のシミュレーションを行うことで、汎用的なベンチマークでは見逃されがちなドメイン特有の失敗モードをテストできるとしている。

6段階の自動クエリ生成パイプライン

合成環境だけでは評価クエリも必要になる。業種固有の現実的なクエリを手動で数千件作成することはコスト面で現実的ではないため、自動化パイプラインを構築したという。

同パイプラインは、一般的な職場タスクのライブラリから出発し、対象業種に関連するものを絞り込み、ドメイン固有の言語・文脈で適応させ、AIを使って合成環境のデータに根ざしたクエリを生成し、より自然な表現に書き換え、最終的に精度と独自性を検証する、という6段階の工程で動作するとされる。

品質検証の4つの軸

合成データの品質は、以下の4次元で評価されると説明されている。

• 構造的忠実度: 組織構造が現実的な報告系統やチーム規模を反映しているか
• 文脈的関連性: クエリやワークフローが実際のエンタープライズ利用パターンを代表しているか
• 行動的リアリズム: 模擬ユーザーが人間らしいコミュニケーションパターンや協働の動態を示しているか
• コンテンツ安全性: 有害・不適切なコンテンツや個人識別情報が含まれておらず、実在人物のなりすましも行われていないか

自動化によるコスト削減効果

エンドツーエンドの自動化により、評価データセットの作成が従来の数日がかりの手動プロセスから大幅に短縮されたと報告されている。Microsoftによれば、1評価データセットあたり約10万ドル、プロジェクト全体では約30万ドルのコスト削減が見込まれるという。

加えて、再現性の確保も重要な成果として挙げられている。同じ設定ファイルから誰でも同一の評価データセットを再生成できるため、リリース間での比較が可能になったとしている。

プライバシーと安全性の「設計による組み込み」

ブログでは「プライバシーと安全性はプラットフォームの設計に組み込まれている」と強調されている。生成されるすべての環境は完全な合成データであり、コンテンツ安全性の自動チェックによって有害素材や個人識別情報が排除されるとしている。

Microsoftはこのプラットフォームを「Microsoft Copilotの初の標準化された評価ベースライン」と位置づけており、エンタープライズAIの評価手法として業界全体への示唆も含むアプローチとして紹介している。

---

出典: From synthetic enterprise data evaluations to real Microsoft Copilot AI confidence