日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.28798

OCC4M: 長期的操作のための物体中心4Dメモリによる時空間推論

OCC4M: Object-Centric 4D Memory for Spatiotemporal Reasoning in Long-Horizon Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

物体中心の4Dメモリを構築し、視点が変わっても物体の位置や時間的同一性、収納関係を保持して、長期的な操作タスクの推論を可能にした研究。

詳しい要約

1. どんなもの?

- 長期的なmanipulationタスク向けのobject-centric 4D memory「OCC4M (Occam)」 - 共有world frame内でpersistent trackを維持し、temporal・motion・containment関係を明示的に表現 - VLMがこの構造化memoryをqueryし、history-freeなlow-level実行のためのactionable targetを選択 - 消えた物体の位置、temporal identity、shuffled containerの中身など現在の視界に無いstateのreasoningを対象とする

2. 先行研究と比べてどこがすごい?

- raw-history VLM baseline「FrameSamp」(Gemini 3.7 Flash、完全なobservation history、同一executor)と比較 - 7 simulation条件・350 episodesでOCC4Mはmemory success 96.6%、end-to-end success 88.9% - FrameSampはそれぞれ54.6%、57.7%にとどまる - viewpoint-transfer testでOCC4Mはmemory 100%、end-to-end 98%を維持するが、full-history FrameSampはほぼゼロに低下 - 20 fixed-camera Franka episodesでOCC4Mはjoint memory accuracy 85%、FrameSampはK=16から完全historyまで最大30%

3. 技術・手法の肝は?

- object-centric 4D memoryを構築し、共有world frameでpersistent trackを維持 - temporal・motion・containment関係を明示的に表現する構造化memory - VLMがこのmemoryをqueryしてactionable targetを選択 - low-level実行はhistory-freeで行う設計

4. どうやって有効だと検証した?

- 7 simulation条件・350 episodesで評価 - FrameSampとの比較でmemory successとend-to-end successを測定 - controlled viewpoint-transfer testで視点変更後の性能を検証 - 20 fixed-camera Franka episodesでjoint memory accuracyとtwo-stage task完遂率を評価 - 定性的なvideoをsupplementary siteで公開

5. 議論はある?

- 結果はlong-horizon manipulationにおけるpersistent spatiotemporal reasoningにexplicit object-centric memoryが有効であることを支持 - 視点変更やcontext size増大に対するrobustnessの差が議論の焦点 - 限界や失敗要因の詳細は要旨からは不明

6. 次に読むべき論文は?

- FrameSamp (raw-history VLM baseline, Gemini 3.7 Flash) - object-centric memoryや4D memoryに関する関連研究 - VLMとmemoryを組み合わせたlong-horizon manipulationの先行手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jack B. Jedlicki, Tanguy Dieudonné, Heng Yang

分類: cs.RO

原文アブストラクト

Long-horizon manipulation often requires reasoning about state absent from the current view, such as a vanished object's location, temporal identity, or the contents of a shuffled container. We present OCC4M ("Occam"), an object-centric 4D memory that maintains persistent tracks in a shared world frame and explicitly represents temporal, motion, and containment relations. A vision-language model (VLM) queries this structured memory to select actionable targets for history-free low-level execution. Across seven simulation conditions and 350 episodes, OCC4M achieves 96.6% memory success and 88.9% end-to-end success, versus 54.6% and 57.7% for FrameSamp, a raw-history VLM baseline using Gemini 3.7 Flash with the complete observation history and the same executor. In a controlled viewpoint-transfer test, OCC4M maintains 100% memory and 98% end-to-end success after a viewpoint change, while full-history FrameSamp falls to near-zero success. On 20 fixed-camera Franka episodes, OCC4M reaches 85% joint memory accuracy, versus at most 30% for FrameSamp across context sizes from $K=16$ to the complete history, and completes 45% of full two-stage tasks. These results support explicit object-centric memory for persistent spatiotemporal reasoning in long-horizon manipulation. Qualitative videos are available at https://occ4m-sup.github.io/occ4m-supplementary/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI