日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2606.16826

ATOM-Bench: 操作ポリシーにおける原子スキルと構成的一般化のための実世界ベンチマーク

ATOM-Bench: A Real-World Benchmark for Atomic Skills and Compositional Generalization in Manipulation Policies

シェア:XThreadsFacebookLINEはてブBluesky

実世界の操作ポリシーを評価するためのベンチマークATOM-Benchを提案し、原子スキルと構成的一般化を分離して評価する。

詳しい要約

1. どんなもの?

- 実世界の卓上マニピュレーションを対象としたベンチマーク。 - motor atoms と instruction atoms に分解し、30 の atomic tasks と 24 の held-out compositional tasks を含む。 - 単腕・双腕のペアトラックを用意。 - 3,000 の human demonstrations を収集し、atomic fine-tuning 用に公開。 - 評価用 rollout data も公開し、再現可能な実世界評価を支援。 - Atomic Score (AS) と Compositional Failure Share (CFS) を導入。

2. 先行研究と比べてどこがすごい?

- 既存の generalist manipulation policies は foundation models として提示されるが、実世界の一般化診断が困難。 - 従来はデモ済みタスクの成功に留まり、細粒度の atomic skills や新規タスク構造への再結合の失敗を区別できなかった。 - ATOM-Bench は atomic skills と compositional generalization を分離評価する点が新しい。 - AS と CFS により、失敗原因を atomic skills の弱さと compositional reuse の制限に切り分け可能。

3. 技術・手法の肝は?

- 卓上操作を motor atoms と instruction atoms に因子分解。 - 30 atomic tasks と 24 held-out compositional tasks を設計。 - 単腕・双腕ロボットのペアトラックを用意。 - 3,000 human demonstrations で atomic fine-tuning を実施。 - 評価は atomic skill acquisition と held-out compositional tasks の両方で行う。 - 指標として Atomic Score (AS) と Compositional Failure Share (CFS) を導入。

4. どうやって有効だと検証した?

- 5 つの代表的な manipulation policies を atomic tasks で fine-tune。 - 2,700 回の physical rollouts を実施。 - その結果、単純な instruction-grounding skills は獲得できるが、fine-grained motor atoms、counting、logical filtering は依然として困難。 - 強い atomic performance が held-out compositional tasks に確実に転移しないことを確認。

5. 議論はある?

- 現在の policies は simple instruction-grounding は可能だが、fine-grained motor atoms、counting、logical filtering に苦戦。 - 高い atomic performance が compositional tasks への転移を保証しない。 - 失敗の原因が motor execution の弱さ、instruction grounding の不足、compositional reuse の制限のいずれかであるかを診断する testbed を提供。 - 具体的な議論の詳細や限界は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明記されていない。 - 同分野の定番として generalist manipulation policies、foundation models for robotic control、compositional generalization に関する研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zenan Wu, Bingqing Wei, Lu Liu, Zheqi He, Xi Wang, Jiakang Liu, Zehui Li, Guocai Yao, Jing-Shu Zheng, Xi Yang, Yongtao Wang

分類: cs.RO, cs.AI

原文アブストラクト

Generalist manipulation policies are increasingly presented as foundation models for robotic control, but their real-world generalization remains difficult to diagnose. A policy may succeed on demonstrated tasks while still failing to execute fine-grained atomic skills or recombine learned skills in new task structures. We introduce \textbf{ATOM-Bench}, a real-world benchmark for evaluating both atomic skills and compositional generalization in manipulation policies. ATOM-Bench factorizes tabletop manipulation into motor atoms and instruction atoms, and contains 30 atomic tasks and 24 held-out compositional tasks across paired single-arm and dual-arm robot tracks. We collect 3,000 human demonstrations for atomic fine-tuning and release both the demonstration data and evaluation rollout data to support reproducible real-world evaluation. Policies are fine-tuned on atomic tasks and evaluated on both atomic skill acquisition and held-out compositional tasks. We further introduce Atomic Score (AS) and Compositional Failure Share (CFS) to distinguish failures caused by weak atomic skills from failures caused by limited compositional reuse. Through 2,700 physical rollouts on five representative manipulation policies, we find that current policies can acquire simple instruction-grounding skills, but still struggle with fine-grained motor atoms, counting, and logical filtering. More importantly, strong atomic performance does not reliably transfer to held-out compositional tasks. ATOM-Bench provides a diagnostic testbed for studying whether failures arise from weak motor execution, poor instruction grounding, or limited compositional reuse.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI