日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.01709

RoBridge:汎用ロボット操作のための認知と実行を橋渡しする階層型アーキテクチャ

RoBridge: A Hierarchical Architecture Bridging Cognition and Execution for General Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

大規模視覚言語モデルによる高レベル認知プランナと強化学習による汎用身体エージェントを、不変操作表現を介して階層的に統合し、認知と実行のギャップを埋めるロボット操作手法を提案。

詳しい要約

1. どんなもの?

- 開放的な多様タスク環境でロボットを操作するための階層型知能アーキテクチャ「RoBridge」の提案。 - 大規模事前学習済み vision-language model (VLM) に基づく high-level cognitive planner (HCP) を上位に置く。 - シンボリックな橋渡しとして invariant operable representation (IOR) を導入。 - 下位に generalist embodied agent (GEA) を配置し、認知と実行を接続する。 - 汎用ロボットマニピュレーションにおける認知推論と物理実行の統合を目指す研究。

2. 先行研究と比べてどこがすごい?

- 既存手法は認知能力と実行能力のどちらかを犠牲にしがちである点を課題として指摘。 - 特に open environment における procedural skill dilemma と declarative skill dilemma に対処する。 - RoBridge は VLM の declarative skill を維持しつつ、reinforcement learning の procedural skill を引き出す点が特徴。 - 既存ベースラインに対し新規タスクで 75% の成功率、sim-to-real 汎化で平均 83% の成功率を報告。

3. 技術・手法の肝は?

- 階層型アーキテクチャで、上位の HCP が大規模事前学習 VLM を用いて指示を解釈・計画する。 - IOR を symbolic bridge として用い、認知側の表現と実行側の操作を結びつける。 - 下位の GEA が実環境での操作を担い、reinforcement learning により procedural skill を獲得・発揮する。 - 各タスクにつき実世界データを 5 サンプルのみ使用する設定で学習・適応する。

4. どうやって有効だと検証した?

- 新規タスクにおいて 75% の成功率を達成したと報告。 - sim-to-real 汎化において、タスクごとに実世界データを 5 サンプルだけ用いて平均 83% の成功率を達成。 - 既存ベースラインとの比較で有意な性能向上を示したと述べられている。 - 詳細な実験設定・評価プロトコルは要旨からは不明。

5. 議論はある?

- 認知推論と物理実行の統合に向けた新しいパラダイムを提示する意義が議論されている。 - VLM の宣言的知識と reinforcement learning の手続き的スキルを階層的に分離・接続する設計の有効性が示唆される。 - 一方で、実世界データ 5 サンプルでの適応の限界や、より多様な open-ended タスクへの拡張性については要旨からは不明。 - 失敗事例やアブレーションの詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で明示的に参照・比較されている個別研究は不明。 - 関連手法として、大規模事前学習 VLM を用いたロボット計画(例: vision-language model ベースの planner)や、reinforcement learning による汎用操作エージェント、sim-to-real 転移に関する研究を次に読むべき候補として挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaidong Zhang, Rongtao Xu, Pengzhen Ren, Junfan Lin, Hefeng Wu, Liang Lin, Xiaodan Liang

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Operating robots in open-ended scenarios with diverse tasks is a crucial research and application direction in robotics. While recent progress in natural language processing and large multimodal models has enhanced robots' ability to understand complex instructions, robot manipulation still faces the procedural skill dilemma and the declarative skill dilemma in open environments. Existing methods often compromise cognitive and executive capabilities. To address these challenges, in this paper, we propose RoBridge, a hierarchical intelligent architecture for general robotic manipulation. It consists of a high-level cognitive planner (HCP) based on a large-scale pre-trained vision-language model (VLM), an invariant operable representation (IOR) serving as a symbolic bridge, and a generalist embodied agent (GEA). RoBridge maintains the declarative skill of VLM and unleashes the procedural skill of reinforcement learning, effectively bridging the gap between cognition and execution. RoBridge demonstrates significant performance improvements over existing baselines, achieving a 75% success rate on new tasks and an 83% average success rate in sim-to-real generalization using only five real-world data samples per task. This work represents a significant step towards integrating cognitive reasoning with physical execution in robotic systems, offering a new paradigm for general robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI