アフリカ10言語のAI安全性を評価する「AfriGuard」——ガードレールモデルの限界と43.9%の改善を達成した新手法

2026/10/27

アフリカ言語向けAI安全性評価データセット「AfriGuard」が登場

ハーバード大学ケンプナー研究所、ザールラント大学、Cohere Labsなど国際的な研究チームが、アフリカ10言語を対象とした安全性・拒否応答評価データセットAfriGuardを発表した。論文はarXivに公開されており、AI安全性研究においてアフリカの言語・文化的観点が著しく不足しているという問題意識を背景に開発されたとされている。

なぜアフリカ言語の安全性評価が必要なのか

LLM（大規模言語モデル）の安全性研究はこれまで英語中心で進んできた。既存の研究では、安全対策が低リソース言語に対して有効に機能しにくいことが指摘されているが、アフリカ大陸の観点は特に不足していると著者らは述べている。アフリカには多様な言語・文化があり、有害なコンテンツの表現や解釈の仕方も異なるため、安全性メカニズムをそのまま適用することは難しい。

対象言語とデータ構成

AfriGuardがカバーするのは以下の10言語と英語だ。

アムハラ語、ハウサ語、イボ語、オロモ語、ショナ語、スワヒリ語、トゥイ語、ウォロフ語、ヨルバ語、ズールー語

言語の選定にあたっては、話者人口、ウェブリソースの可用性、類型論的・地理的多様性、既存データセットでのカバレッジ、資格のあるアノテーターの確保可能性が考慮された。西アフリカ、東アフリカ、南部アフリカをカバーし、9言語が主に英語圏、ウォロフ語がフランス語圏の文脈に対応する。

データセットの規模は言語ごとにプロンプト数が約960〜980件（訓練・検証・テスト分割あり）、シナリオ数が約250件程度となっており（詳細は論文表1に記載）、テストスプリットには未見のシナリオのみが含まれているとされる。

データ作成パイプライン

AfriGuardの構築は5段階のパイプラインで行われた。

安全カテゴリの分類体系構築 — JailbreakBenchやOpenAI・AnthropicのAPIポリシーを参考にしつつ、アフリカのAI倫理・ガバナンスの専門家2名との意見交換を経て、アフリカ固有の文脈を加味した10カテゴリの分類体系を策定した。
シナリオ生成 — Grok 3を用いて、各国の文化・社会的背景に即したリアルなシナリオを国別に生成。既存の多言語安全ベンチマークでは取り上げられにくい、地域固有の民族的緊張や政治的問題なども対象とした。
安全・危険プロンプトの生成 — 各シナリオに対し、安全な意図と有害な意図のプロンプトをそれぞれ2件ずつ英語で生成した。
応答生成 — 各プロンプトに対するモデル応答を自動生成した。
翻訳と品質保証 — 対象言語のネイティブスピーカーによるアノテーションと品質検証を各段階に組み込んだ。

シナリオの検証は、対応する国の出身者であるネイティブスピーカー3名が「妥当性・有用性」と「文化的真正性」の2軸で独立評価した。

主な発見：ガードレールモデルは深刻に性能不足

論文の評価結果として著者らが報告した主な知見は以下のとおりだ。

既存のガードレールモデルは、安全意図の分類・安全カテゴリの分類において、オープンソース・クローズドソース両方のLLMより性能が低かった。
モデルの安全行動に対する理解は限定的で、F1スコアが60%未満にとどまった。
モデルが安全でないプロンプトに適切に応答できない場合、明示的な拒否を行っているわけではなく、言語的に不十分な応答を返すことで「偶発的に非支援」となるケースが多いことが判明した。これは「適切な拒否」とは本質的に異なる挙動だとされる。

AfriGuardを活用した新モデルの開発成果

著者らはAfriGuardを用いて以下の成果を達成したと報告している。

最大30倍大きなモデルに匹敵する性能を持つ効率的なガードレールモデルの開発
既存の拒否検出器と比較して平均43.9%の性能向上を達成した拒否検出器の開発
教師あり微調整（SFT）によって全体的な安全性能を大幅に改善できることの実証

さらに、40カ国の国別バリアントを合成拡張したAfriGuard-XLも作成したとされ、モデルの訓練・適応に活用できるとしている。

残された課題と意義

AfriGuardは既存のアフリカ言語向け安全ベンチマーク（TukaBenchやUbuntuGuardなど）と比較して、言語ごとのインスタンス数や対応シナリオの多様性において大幅な拡張を図ったものとされている。一方で、論文本文の末尾が確認できない部分もあり、すべての実験結果の詳細については論文全体を参照する必要がある。

データセットおよびモデルはHugging Face（masakhane/afriguardコレクション）で公開されているとされており、アフリカの言語的多様性を考慮したAI安全性研究の基盤として今後の活用が期待される。

出典: AfriGuard: Safety and Robust Refusal For African Languages