身体AIベンチマーク2026/10/4arXiv:2610.05013

EMBER-Bench：長期的身体タスクにおけるイベント間因果記憶のベンチマーク

EMBER-Bench: Benchmarking Cross-Event Causal Memory in Long-Horizon Embodied Tasks

一人称視点の家庭内タスク189件・QAペア699件からなる、過去の出来事が現在の状態や将来の行動にどう影響するかを問う因果推論ベンチマークを新規構築し、16モデルを評価した。

詳しい要約

1. どんなもの？

- EMBER-Benchは、長期的なembodiedタスクにおけるcross-event causal reasoningを評価するegocentricベンチマーク。 - 189のhouseholdタスクと699のQAペアを含み、task progress, failure recovery, external interventions, compound long-horizon tasksをカバー。 - 細粒度のeventおよびcausal-chainアノテーションを備える。 - 双方向の推論を評価：next-action predictionとcausal traceback。 - 16モデルを評価し、最高精度は61.2%、人間評価者の平均は98.3%。

2. 先行研究と比べてどこがすごい？

- 既存のembodiedおよびvideo-memoryベンチマークは主にhistorical retrievalとsummaryに焦点を当て、history-dependent causal reasoningは未探索。 - EMBER-Benchはcross-event causal reasoningに特化し、新たにタスク設計、ビデオ録画、データアノテーションを作成。 - 双方向の推論（next-action predictionとcausal traceback）を評価する点が新しい。 - 入力アブレーションにより、モデルがどの歴史情報を利用できないかを特定可能。

3. 技術・手法の肝は？

- 新規に作成したegocentricベンチマークで、189のhouseholdタスクと699のQAペアを含む。 - タスクはtask progress, failure recovery, external interventions, compound long-horizon tasksに分類。 - 細粒度のeventおよびcausal-chainアノテーションを付与。 - 評価はnext-action predictionとcausal tracebackの双方向。 - 入力アブレーションとしてaction logsやprivileged cause-and-consequence annotationsを追加し、モデルの利用情報を分析。

4. どうやって有効だと検証した？

- 16モデルを評価し、最高全体精度は61.2%、人間評価者の平均は98.3%。 - ペア決定点において、正しいtracebackと正しいnext-action predictionは関連しない。 - action logsの追加で1.6ポイントの向上、さらにcause-and-consequence annotationsの追加で13.0ポイントの追加向上。 - これらの結果から、過去のイベントから因果情報を抽出し現在の行動制約に変換することが難題であると示唆。

5. 議論はある？

- 過去のイベントから因果情報を抽出し、現在の行動への制約に変換することが長期的embodiedエージェントの主要な困難。 - 正しいtracebackが正しいnext-action predictionと関連しないことは、両推論が独立している可能性を示唆。 - action logsやcause-and-consequence annotationsの追加が性能を向上させるが、依然として人間とのギャップが大きい。 - 要旨からは、他の議論や限界については不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、embodiedおよびvideo-memoryベンチマーク（例：Ego4D, Epic-Kitchensなど）や、long-horizon embodiedタスクの研究が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aoyang Cai, Boning Zhao, Shaoxuan Xie, Dahui Gao, Huan Yang, Zhongyuan Wang, Zhiwei Yu, Guocai Yao

分類: cs.CV

原文アブストラクト

Lifelong physical agents must reason over extended interactions where past events continue to shape the world long after they disappear from view. Beyond recalling what happened, agents must infer how history changes the current state and constrains future actions. Yet existing embodied and video-memory benchmarks largely focus on historical retrieval and summary, leaving such history-dependent causal reasoning underexplored. We introduce EMBER-Bench, an egocentric benchmark for cross-event causal reasoning in long-horizon embodied tasks, for which we newly created the task design, video recording, and data annotation. It contains 189 household tasks and 699 QA pairs, spanning task progress, failure recovery, external interventions, and compound long-horizon tasks with distant dependencies and prerequisites, with fine-grained event and causal-chain annotations. EMBER-Bench evaluates reasoning in both directions: next-action prediction selects the next action from history, and causal traceback, given that action, identifies the historical event that makes it necessary. Input ablations that add action logs or privileged cause-and-consequence annotations to the video indicate which kind of historical information models fail to use. Among the 16 evaluated models, the highest overall accuracy is 61.2%, compared with a mean of 98.3% across two human evaluators. At paired decision points, correct traceback is not associated with correct next-action prediction. Adding action logs yields a gain of 1.6 points, whereas cause-and-consequence annotations yield an additional gain of 13.0 points on top of that. These results suggest that extracting causal information from past events and converting it into constraints on current actions remains a key difficulty for long-horizon embodied agents. Project Page: https://zhaoalexgoat.github.io/EMBER-Bench/

arXivで原文を読む →arXiv概要ページ

← 論文一覧