身体性エージェント/幻覚2025/6/1arXiv:2506.15065

HEAL: 大規模言語モデルに駆動される身体性エージェントの幻覚に関する実証研究

HEAL: An Empirical Study on Hallucinations in Embodied Agents Driven by Large Language Models

LLMベースの身体性エージェントがシーンとタスクの不一致下で生じる幻覚を初めて体系的に調査し、幻覚を誘発するプローブセットを構築して12モデルを評価した。

詳しい要約

1. どんなもの？

- LLMを認知コアとするembodied agentsのhallucinationに関する初の体系的実証研究 - 長期的タスク遂行中に生じる、観測環境とユーザ指示の不一致(scene-task inconsistencies)下でのhallucinationを対象 - 存在しない冷蔵庫を探す等のnavigation errorにつながる問題を扱う - 既存benchmarkを基にhallucination probing setを構築し、12モデルを2つのsimulation環境で評価

2. 先行研究と比べてどこがすごい？

- LLM-based embodied agentsのhallucinationを体系的に研究した初の試みと主張 - 既存benchmarkを拡張し、base promptsより最大40倍高いhallucination率を誘発できるprobing setを構築 - 単なる性能評価でなく、どの種類の不一致がhallucinationを引き起こすかを分類的に分析 - 12モデル・2環境という広範な評価を実施

3. 技術・手法の肝は？

- 既存benchmarkを基盤に、scene-task inconsistenciesを注入するhallucination probing setを設計 - base promptsと比較してhallucination率を最大40倍に高めるプロンプト構築手法 - 長期的タスク(long-horizon tasks)設定でモデルの応答を評価 - 各シナリオにおける理想的なモデル挙動の指針も提示

4. どうやって有効だと検証した？

- 12のモデルを2つのsimulation環境で評価 - probing setにより最大40倍のhallucination率上昇を確認 - モデルはreasoningを示すものの、scene-task inconsistenciesを解消できないことを観測 - infeasible tasksへの対処に根本的限界があることを実証

5. 議論はある？

- モデルは推論はできるが不一致解消に失敗し、実行不可能タスク処理に根本的制約 - 各シナリオでの理想的なモデル挙動に関する実践的示唆を提供 - より堅牢で信頼性の高いplanning戦略開発への指針を示す - 具体的な限界や反例の詳細は要旨からは不明

6. 次に読むべき論文は？

- 本論文が基盤とした既存benchmark(名称は要旨からは不明) - LLM-based embodied agentsのplanning研究(一般名) - hallucination mitigation手法(一般名) - long-horizon taskにおけるgrounding研究(一般名)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Trishna Chakraborty, Udita Ghosh, Xiaopan Zhang, Fahim Faisal Niloy, Yue Dong, Jiachen Li, Amit K. Roy-Chowdhury, Chengyu Song

分類: cs.LG, cs.RO

原文アブストラクト

Large language models (LLMs) are increasingly being adopted as the cognitive core of embodied agents. However, inherited hallucinations, which stem from failures to ground user instructions in the observed physical environment, can lead to navigation errors, such as searching for a refrigerator that does not exist. In this paper, we present the first systematic study of hallucinations in LLM-based embodied agents performing long-horizon tasks under scene-task inconsistencies. Our goal is to understand to what extent hallucinations occur, what types of inconsistencies trigger them, and how current models respond. To achieve these goals, we construct a hallucination probing set by building on an existing benchmark, capable of inducing hallucination rates up to 40x higher than base prompts. Evaluating 12 models across two simulation environments, we find that while models exhibit reasoning, they fail to resolve scene-task inconsistencies-highlighting fundamental limitations in handling infeasible tasks. We also provide actionable insights on ideal model behavior for each scenario, offering guidance for developing more robust and reliable planning strategies.

arXivで原文を読む →arXiv概要ページ

← 論文一覧