TIP
メニュー
EN
← 記事

AI

LLMと記号計画・強化学習を統合したニューロシンボリックAIで未知オブジェクトへの適応を実現

2026/09/26

未知オブジェクトに直面したロボットをどう救うか

オープンワールド環境で自律ロボットを運用する際、従来の記号プランナーは重大な弱点を抱えている。環境に未知のオブジェクトが出現したとき、そのオブジェクトに対応する「オペレータ」（行動定義）がPlanning Domain Definition Language（PDDL）に存在しなければ、プランナーは適切な行動計画を生成できない。

オーストリア工科研究所（AIT）とタフツ大学の研究チームは、この問題を解決するニューロシンボリックアーキテクチャを提案した。論文「Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning」（arXiv:2603.11351）において、記号計画・強化学習・LLMを統合した手法が詳述されている。

アーキテクチャの概要：計画・学習・実行のループ

提案手法の中核はPlan-Learn-Execute ループと呼ばれる反復的な処理フレームワークだ。

  1. 不足オペレータの特定（Hybrid LLM-Symbolic Planner）：PDDLドメインファイルとプロブレムファイルをパースし、現在の状態・ゴール・既存オペレータの情報をプロンプトに動的に埋め込んでLLMに問い合わせる。LLMは常識推論能力を活用して不足しているオペレータ名・パラメータ・効果を提案する。自己整合性プロンプティング（Self-Consistency）により5つの候補を生成し、最頻値を採用することで誤りを低減している。記号プランナーは「先読み探索」を行い、提案されたオペレータを追加することで実際にゴールへの計画が立てられるかを二値的に評価する役割も担う。

  2. 報酬関数の生成と強化学習（LLM-guided Subgoal Learning）：新たなオペレータが特定されると、LLMはそのオペレータのエフェクト（事後条件）をサブゴールとして分解し、各サブゴールに対して複数の密な報酬関数コードを生成する。サブゴールごとに複数のRLエージェントを並列起動し、サブゴール達成率に基づいて定期的に最下位エージェントを淘汰する「遺伝的アルゴリズム的な除去戦略」を採用する。最終的に最高性能のポリシーが当該オペレータの実行器として保存される。

  3. 実行：計画に含まれるオペレータを順次実行し、新規オペレータに遭遇した場合は上記の学習プロセスを起動してポリシーを獲得した後、実行を継続する。

PDDLの具体的な表現では、たとえば open-drawer というオペレータについて、事前条件として not open drawer1 や not grasped drawer1 が自動充填され、LLMが grasped drawer1 → open drawer1 という順序付きエフェクトを定義する。その後、特定エンティティ（drawer1）を変数型（?d - drawer）にリフトすることでドメイン全体への汎化も実現されている。

評価環境と比較対象

実験はroboticsシミュレーション環境「MimicGen」上の3つの継続的操作ドメインで実施された。注入されたノベルティ（未知オブジェクト）は以下の通りだ。

  • Kitchenドメイン：鍋の蓋（lid）
  • Nut Assemblyドメイン：丸ペグ（round peg）
  • Coffeeドメイン：引き出し（drawer）またはボックス（box）

論文によれば、提案手法はオペレータ発見とオペレータ学習の両面において、連続ロボット操作ドメインの従来手法を上回る性能を示したと報告されている。

関連研究との差別化

著者らが最も近い先行研究として挙げるのは**LEAGUE++**だ。同手法もLLM生成報酬関数でロボットスキルを習得させる点では類似しているが、論文では2点の限界が指摘されている。

  • 不足オペレータへの対処機能がない：LEAGUE++はドメインが完全に定義されていることを前提としており、未知オブジェクトに必要なオペレータの不在を認識・補完する仕組みを持たない。
  • 単一報酬関数へのコミットメント：1スキルに対して1つのLLM生成報酬関数しか使わないため、誤った報酬シグナルを追い続けるリスクがある。

提案手法はこれら両方の課題に対処し、LLM誘導の記号探索による不足オペレータ明示的特定と、複数候補の並列生成・段階的淘汰という戦略を導入している。

今後の展開

論文本文・コード・デモ動画はプロジェクトページ（helenlu66.github.io/hybridLLMguided/）で公開されており、コードも利用可能とされている。なお本研究は米国海軍研究局（ONR）グラント N00014-25-1-2479 の支援を受けている。

連続空間でのロボット操作に対するLLMと記号AIの統合アプローチは、工場・家庭・医療といった予期しない物体が日常的に出現するリアルワールド環境でのロボット展開に向けた有望な方向性として注目される。

出典: Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning