インド銀行業務向けベンチマーク「TauIndianBankBench」——手順遵守を評価する1,000タスクの新指標

2026/10/26

従来の評価手法に潜む盲点

インドの多くの銀行は現在、FAQページや定型文ベースのチャットボットで顧客対応を行っている。言語モデルを活用したアシスタントであれば、より柔軟な問い合わせへの回答やカードの利用停止といった実際の処理を行える可能性がある。しかし銀行業務での活用には、正確な情報提供と規則の遵守が絶対条件だ。

この「規則の遵守」を評価する際、既存のベンチマークには構造的な問題があった。多くのベンチマークは会話終了後のデータベースの最終状態のみを比較するが、インド銀行規制が定める必須手順の多くは、データベースレコードを変更しない「参照（読み取り）」操作だ。たとえば、定期預金を解約する前に違約金を顧客に伝えるための解約クォートの取得、残高不足の可能性がある場合の最低残高ルールの確認、カード停止前のカード状態チェックなどが該当する。こうしたステップをアシスタントが飛ばしても、最終レコードは正しい状態になりうるため、従来の評価ではその違反を検出できない。

TauIndianBankBenchの設計

インド国家決済公社（NPCI）の研究者らが発表した TauIndianBankBench は、この問題を解決するために設計されたアクション指向のベンチマークだ。1,000件のインド小売銀行業務タスクを収録し、シミュレーションされた顧客とアシスタントが対話する形式で評価が行われる。

ベンチマークの環境は以下の要素で構成されている。

合成銀行データ：944人の顧客データ（口座、カード、定期預金、ローン、自動引き落とし指示、KYCステータス、取引履歴を含む）
34種のツール：口座・預金・ローン・カードなどを操作する33のサービスツールと、顧客を担当者に転送するツール。うち13が書き込み操作、残り20が読み取り操作
24件の知識ベース文書：支払い上限、KYC更新、預金保険、利息への課税、政府スキームなどを網羅
書面化されたポリシー：アシスタントに提供される銀行の規則集

タスクは 4つのカテゴリ に分類される。複数の依存する呼び出し（最大6件）を要する「シーケンシングタスク」、エラーケースへの対処を求める「エッジケースタスク」、使用頻度の低い操作が必要な「レアツールタスク」、そして内部ベースラインとなる「コントロールタスク」だ。

ゴールドチェーン（参照となるツール呼び出しシーケンス）は平均3.54回の呼び出しを含み、1〜6回の範囲で設定されている。1,000タスクのうち962件は少なくとも1つの読み取り専用呼び出しを必要とし、114件はすべて読み取り操作のみで完結するという。

二重評価による手順遵守の測定

評価は決定論的な2つのパス/フェイル判定で構成される。

最終状態チェックは、τ-benchおよびτ²-benchから継承した手法で、セッション終了後のデータベースレコードをゴールドチェーンのリプレイ結果と照合する。

アクションチェックが今回の新規追加部分だ。ゴールドチェーン内のすべての呼び出し（読み取り操作を含む）がセッションに存在するかを検証し、さらに**書き込み純粋性（Write Purity）**条件として、タスクで要求されていない変更をアシスタントが行った場合もフェイルと判定する。一度行った不要な変更を後から元に戻した場合も失敗扱いとなる。

セッションが「合格」となるのは、両チェックがパスした場合のみだ。3回中3回のゴールドチェーン呼び出しのうち1回を欠いたセッションは、何も行わなかったセッションと同じく0点となる。

最終状態チェックだけでは6.5〜12.0%が誤判定

論文では、Gemma 4ファミリー5モデルとQwen3.8-27Bの計6モデルを評価した結果が報告されている。

最も重要な発見は、すべてのモデルで最終状態チェックのみの評価が手順違反を見逃すことだ。具体的には、アシスタントが必須ステップをスキップした、または要求されていない変更を行ったにもかかわらず、最終状態チェックのみでは6.5〜12.0%のセッションが成功と判定されると報告されている。

一方、2つのチェックはそれぞれ異なるセッションを失敗と判定することも示されている。上位3モデルでは、どちらか一方のチェックのみで失敗するセッションの大半はアクションチェックのみが検出する手順違反だった。最も性能の低いモデルでは、ゴールドチェーンの呼び出しはすべて行ったが最終レコードが誤りであるケースが多く、こちらは最終状態チェックのみが検出した。

ベンチマークの妥当性を確認する実験として、単純なスクリプトエージェントは1タスクも合格しなかった。また、コントロールタスクの合格率がモデルサイズと相関を示さない一方、3つの評価カテゴリはモデルを適切に分類できることも確認されている。

インド金融規制に対応した評価への必要性

インドの小売銀行業務には、インド準備銀行（RBI）が定めるKYC定期更新義務、預金利息への源泉徴収税（TDS）と免除申請、政府系貯蓄スキームの法定資格要件など、明文化された必須手順が多く存在する。TauIndianBankBenchはこうした規制要件をタスク設計に組み込んでいる点で、既存の金融ベンチマークが対象としてこなかった領域をカバーしている。

コード、データ、参照結果はGitHub（github.com/npci/TauIndianBankBench）およびHugging Face（huggingface.co/datasets/NPCI/tau-indian-banking）で公開されている。

出典: TauIndianBankBench: Procedure-Aware, Action-Oriented Evaluation of Tool-Using Conversational Agents