日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

計画/ベンチマークarXiv:2605.13335

Ego2World: 一人称調理動画を実行可能な世界へ変換し信念状態計画を行う

Ego2World: Compiling Egocentric Cooking Videos into Executable Worlds for Belief-State Planning

シェア:XThreadsFacebookLINEはてブBluesky

一人称調理動画から実行可能なシンボリック世界を構築し、部分観測下での信念状態計画を評価するベンチマークを提案した論文。

詳しい要約

1. どんなもの?

- 家庭環境の embodied agent 向けに、egocentric cooking video を実行可能な symbolic world へ変換する benchmark「Ego2World」を提案。 - HD-EPIC を基盤に、video annotations から再利用可能な transition rules を導出し、hidden symbolic world graph 上で実行。 - 評価時は simulator が hidden world graph を保持し、agent は local observations と execution feedback のみで自身の partial belief graph 上で計画する。 - この分離により、真の world state を見ずに memory 更新と replanning を強制する。

2. 先行研究と比べてどこがすごい?

- 既存の egocentric video datasets は現実的な人間活動を捉えるが passive で、実行を伴わない。 - 既存の interactive simulators は実行を支援するが、synthetic scenes と hand-crafted dynamics に依存し sim-to-real gap を生み、しばしば fully observable state を仮定する。 - Ego2World は現実の egocentric cooking video から executable symbolic worlds を構築し、partial observation 下での belief-state planning を評価する点で先行研究を補完・拡張する。

3. 技術・手法の肝は?

- HD-EPIC の video annotations から再利用可能な transition rules を導出。 - それらを hidden symbolic world graph 上で実行する executable benchmark を構築。 - 評価時、simulator は hidden world graph を維持し、agent は local observations と execution feedback のみを用いて自身の partial belief graph 上で計画。 - この設計により、agent は真の world state を観測せずに memory 更新と replanning を行う必要がある。

4. どうやって有効だと検証した?

- 実験により、action-overlap scores が physical-state success を過大評価することを示した。 - persistent belief memory が task completion を改善し、repeated visual exploration を減らすことを示した。 - これにより belief maintenance が embodied-agent evaluation の first-class target であるべきだと示唆。

5. 議論はある?

- action-overlap scores は physical-state success を過大評価する可能性がある。 - persistent belief memory の有効性が示され、belief maintenance を評価の主要対象とすべきという議論を提示。 - その他の限界や議論は要旨からは不明。

6. 次に読むべき論文は?

- HD-EPIC(基盤データセット) - egocentric video datasets(既存の受動的データセット群) - interactive simulators(既存の対話型シミュレータ群) - belief-state planning や partial observability 下の embodied agent 評価に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qinchuan Cheng, Zhantao Gong, Pengzhan Sun, Angela Yao, Xulei Yang, Shijie Li

分類: cs.AI, cs.CV

原文アブストラクト

Embodied agents in household environments must plan under partial observation: they need to remember objects, track state changes, and recover when actions fail. Existing benchmarks only partially test this ability. Egocentric video datasets capture realistic human activities but remain passive, while interactive simulators support execution but rely on synthetic scenes and hand-crafted dynamics, introducing a sim-to-real gap and often assuming fully observable state. We introduce Ego2World, an executable benchmark that turns egocentric cooking videos into executable symbolic worlds governed by graph-transition rules. Built on HD-EPIC, Ego2World derives reusable transition rules from video annotations and executes them in a hidden symbolic world graph. During evaluation, the simulator maintains the hidden world graph, while the agent plans over its own partial belief graph using only local observations and execution feedback. This separation forces agents to update memory and replan without observing the true world state. Experiments show that action-overlap scores overestimate physical-state success, and that persistent belief memory improves task completion while reducing repeated visual exploration -- suggesting that belief maintenance should be a first-class target of embodied-agent evaluation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI