曖昧指示に対する具現化エージェントの頑健性評価ベンチマーク

- 本論文は、Embodied Agents の頑健性評価が危険な指示や jailbreak に偏っている点を問題視し、意味的には十分だが文脈的手がかりが最小限の指示（実世界の人間同士のコミュニケーションで一般的）下での性能を問う新しい評価軸を提示する。 - 非本質的な文脈情報が省略されると、タスクの意味が変わらないにもかかわらず agent が正しく実行できなくなる現象を Ambient Context Illusion と命名。 - これを体系的に調べるため、AI2-THOR の対話型シミュレーション環境上に構築した benchmark「VagueBench」を提案する。 - 指示の意味的構成要素（entities, procedures, constraints, prior knowledge）を考慮し、補助情報を削減する 4 カテゴリ・9 サブタイプの分類体系を導出。 - 多様な屋内環境にわたる 1,303 組の指示ペアを含む。

- 先行の embodied agent 頑健性評価は hazardous instructions や jailbreak 脆弱性に偏っており、本論文は「文脈的手がかりの欠如」という別種の頑健性問題に着目する点が新しい。 - 意味が同一で補助文脈のみを削減した指示ペアを体系的に生成・評価する枠組みを提示し、Ambient Context Illusion という現象を定式化した。 - 単なる性能低下だけでなく、empty plan rate の増加という実行可能性の劣化も定量化している点が従来評価と異なる。 - シミュレーションにとどまらず、実世界のロボティックシステムでも同現象が持続し誤判断・安全リスクにつながることを示した点が貢献。 - 具体的な先行研究名との比較は要旨からは不明。

- AI2-THOR の対話型シミュレーション環境を基盤に VagueBench を構築。 - 指示の意味的構成要素（entities, procedures, constraints, prior knowledge）を体系的に考慮し、補助情報を削減する 4 カテゴリ・9 サブタイプの統一的分類体系を導出。 - human-agent co-generation framework を採用し、semantic redundancy estimation、taxonomy-guided transformation、rigorous semantic-invariance verification を統合して指示ペアを生成。 - これにより、タスク意味を変えずに非本質的な文脈のみを削減した 1,303 組の指示ペアを多様な屋内環境で作成。 - 評価では task success rate と empty plan rate を主要指標として用いる。

- 6 つの state-of-the-art embodied agents に対して VagueBench で広範な評価を実施。 - 結果として task success rate が相対 -19.65%、empty plan rate が相対 +54.10% となり、補助的な言語信号への強い依存と核心的タスク意味の活用不足を示した。 - さらに実世界のロボティックシステムでも同現象が持続し、誤った判断や潜在的な安全リスクにつながることを実証。 - 指示ペア生成には semantic-invariance verification を組み込み、意味不変性を厳密に検証している。

- 現行の embodied agent は補助的な言語的手がかりに強く依存し、核心的タスク意味を十分に活用できていないという知見を提示。 - この現象はシミュレーションにとどまらず実世界のロボティックシステムでも誤判断・安全リスクを招くため、実運用上の懸念がある。 - 頑健性評価の焦点を危険指示や jailbreak から文脈依存性へ広げる必要性を示唆。 - 具体的な限界や今後の課題、対策手法についての詳細な議論は要旨からは不明。

- 本論文が基盤とする AI2-THOR 関連の embodied agent 研究。 - 比較対象として言及される hazardous instructions や jailbreak 脆弱性に関する embodied agent 頑健性研究。 - 指示の意味的構成要素や semantic redundancy を扱う instruction following / grounding 研究。 - 実世界ロボティックシステムでの指示理解・安全評価に関する研究。 - 具体的な論文名は要旨からは不明。