日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

身体性エージェント/記憶/ベンチマークarXiv:2506.15635

FindingDory: 身体性エージェントの記憶評価ベンチマーク

FindingDory: A Benchmark to Evaluate Memory in Embodied Agents

シェア:XThreadsFacebookLINEはてブBluesky

Habitatシミュレータ上で長期的な記憶を要する60の身体性タスクを評価するベンチマークを提案し、視覚言語モデルの長期記憶能力を測定する。

詳しい要約

1. どんなもの?

- 本論文は、embodied agent の長期記憶を評価するための新しい benchmark「FindingDory」を提案する。 - Habitat simulator 上で、記憶が成功に不可欠な 60 個の long-range embodied tasks を対象とする。 - タスクは手続き的に拡張可能で、より長く困難なバージョンへ scalable に評価できる。 - 最先端 VLM と低レベル navigation policy を統合した baseline も提示する。

2. 先行研究と比べてどこがすごい?

- 既存の long-video QA benchmark は、object manipulation や navigation といった embodied 特有の課題を軽視している。 - それらは低レベル技能や過去の interaction に対する fine-grained reasoning を要求しない。 - 本 benchmark は、記憶が成功に不可欠な long-horizon control シナリオに特化する点が異なる。 - 記憶の想起と、その情報に基づく行動実行を切り離さず一緒に評価する点を重視する。

3. 技術・手法の肝は?

- Habitat simulator 上に、記憶ベース能力を測る 60 タスクからなる benchmark を構築する。 - 各タスクは持続的関与と文脈 awareness を要求し、手続き的に長く困難な版へ拡張可能とする。 - baseline では state-of-the-art VLM を低レベル navigation policy と統合し、記憶集約的タスクで評価する。 - 長期経験を多数画像として扱う際の VLM の concurrent 処理限界への対処が背景にある。

4. どうやって有効だと検証した?

- 提案 benchmark 上で、VLM と低レベル navigation policy を統合した baseline の性能を評価した。 - その結果に基づき、改善が必要な領域を明示した。 - 具体的なタスク成功率や比較数値は要旨からは不明。 - 手続き的拡張による scalable 評価の有効性検証の詳細は要旨からは不明。

5. 議論はある?

- 現行 VLM は数百枚を超える画像の同時処理が困難で、長期記憶機構の効率化が必要とされる。 - embodied 設定では、関連する履歴情報の想起と、それに基づく行動実行の両面を一体で研究すべきと論じる。 - baseline の結果から改善領域があることを示すが、具体的な議論の詳細は要旨からは不明。 - タスク拡張時の性能限界や評価指標の妥当性は要旨からは不明。

6. 次に読むべき論文は?

- 本論文が比較対象とする既存の long-video QA benchmark 関連研究。 - Habitat simulator を用いた embodied AI の定番 benchmark 研究。 - state-of-the-art VLM と低レベル navigation policy を統合する baseline 関連研究。 - 長期記憶を扱う VLM の効率的な memory mechanism に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Karmesh Yadav, Yusuf Ali, Gunshi Gupta, Yarin Gal, Zsolt Kira

分類: cs.CV, cs.RO

原文アブストラクト

Large vision-language models have recently demonstrated impressive performance in planning and control tasks, driving interest in their application to real-world robotics. However, deploying these models for reasoning in embodied contexts is limited by their ability to incorporate long-term experience collected across multiple days and represented by vast collections of images. Current VLMs typically struggle to process more than a few hundred images concurrently, highlighting the need for more efficient mechanisms to handle long-term memory in embodied settings. To effectively evaluate these models for long-horizon control, a benchmark must specifically target scenarios where memory is crucial for success. Existing long-video QA benchmarks overlook embodied challenges like object manipulation and navigation, which demand low-level skills and fine-grained reasoning over past interactions. Moreover, effective memory integration in embodied agents involves both recalling relevant historical information and executing actions based on that information, making it essential to study these aspects together rather than in isolation. In this work, we introduce a new benchmark for long-range embodied tasks in the Habitat simulator. This benchmark evaluates memory-based capabilities across 60 tasks requiring sustained engagement and contextual awareness in an environment. The tasks can also be procedurally extended to longer and more challenging versions, enabling scalable evaluation of memory and reasoning. We also present baselines that integrate state-of-the-art VLMs with low level navigation policies, assessing their performance on these memory-intensive tasks and highlight areas for improvement.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI