日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.39507

LIBERO-Agent:汎用エージェントによる実機マニピュレーションの評価ベンチマーク

LIBERO-Agent: Evaluating General-Purpose Agents for Direct Embodied Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

汎用AIエージェントがロボット操作タスクを直接実行できるかを評価する200タスクの対話型ベンチマークLIBERO-Agentを提案し、知覚は得意だが長期的・難しい操作では信頼性が大きく低下することを示した。

詳しい要約

1. どんなもの?

- 汎用エージェントがデジタル環境から身体性を伴う操作へ能力を転移できるかを調べる - LIBERO-Agent はロボット操作タスクでエージェントを評価する agent-native benchmark - タスクレベルの Python 制御プログラム提出や高レベル robot skills 操作ではなく、対話型ロボット環境を提供 - エージェントは観察対象を選択し、自身のツールで処理し、native action commands を発行 - 200 タスクを共通の interaction framework に統合 - 30 タスクの primary suite が perception、short-horizon execution、long-horizon composition を分離 - 結果として reliability gap が顕著

2. 先行研究と比べてどこがすごい?

- 従来はタスクレベルの Python 制御プログラム提出や高レベル robot skills 経由の操作を要求 - LIBERO-Agent はエージェントが観察を選択し自身のツールで処理し native action commands を出す対話型環境 - 200 タスクを共通の interaction framework に統合 - 30 タスクの primary suite で perception、short-horizon execution、long-horizon composition を分離 - これにより汎用エージェントの身体性操作への転移を直接評価可能に

3. 技術・手法の肝は?

- 対話型ロボット環境でエージェントが観察対象を選択 - 自身のツールで観察を処理 - native action commands を発行 - 200 タスクを共通の interaction framework に統合 - 30 タスクの primary suite が perception、short-horizon execution、long-horizon composition を分離 - 詳細な技術実装は要旨からは不明

4. どうやって有効だと検証した?

- LIBERO-Agent 上で汎用エージェントを評価 - perception と easy short-horizon タスクでは良好 - hard short-horizon と long-horizon タスクでは性能が大幅に低下 - より豊富な観察は short-horizon manipulation を改善 - demonstration の利益はエージェントと format に依存 - GPT-6 Astra が総合性能で最強 - その優位性は mechanism interaction、特に sustained physical contact が必要な場合に顕著 - 残る失敗は cross-stage interference と geometric errors に起因

5. 議論はある?

- reliability gap が顕著 - perception と easy short-horizon は良好だが hard short-horizon と long-horizon で性能低下 - 豊富な観察は short-horizon manipulation を改善 - demonstration の利益はエージェントと format に依存 - GPT-6 Astra の優位性は mechanism interaction、特に sustained physical contact が必要な場合 - 残る失敗は cross-stage interference と geometric errors - その他の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の定番として LIBERO、robot manipulation benchmarks、general-purpose agents 関連の研究を挙げる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zijie Diao, Yitong Chen, Sicheng Xie, Tianyi Lu, Wujian Peng, Guojin Zhong, Houze Xu, Ziyi Ye, Zuxuan Wu, Yu-Gang Jiang

分類: cs.RO

原文アブストラクト

General-purpose agents can plan, use tools, and revise their behavior from feedback, but it remains unclear whether these capabilities transfer from digital environments to embodied manipulation. To investigate this question, we introduce LIBERO-Agent, an agent-native benchmark for evaluating these agents in robot manipulation tasks. Rather than asking agents to submit task-level Python control programs or operate through high-level robot skills, LIBERO-Agent provides an interactive robotic environment where agents can select which observations to inspect, process them with their own tools, and issue native action commands. LIBERO-Agent integrates 200 tasks into a common interaction framework and provides a 30-task primary suite that separates perception, short-horizon execution, and long-horizon composition. Results reveal a pronounced reliability gap: while agents perform well on perception and easy short-horizon tasks, their performance degrades substantially on hard short-horizon and long-horizon tasks. Richer observations improve short-horizon manipulation, while demonstration benefits depend on the agent and format. Among these agents, GPT-6 Astra achieves the strongest overall performance. Further analysis shows its major advantage lies in mechanism interaction, especially when sustained physical contact is needed, while its remaining failures stem from cross-stage interference and geometric errors.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI