日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2511.04381

ForeRobo: 3D目標駆動型ロボットマニピュレーションのための無限シミュレーションデータの活用

ForeRobo: Unlocking Infinite Simulation Data for 3D Goal-driven Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

生成シミュレーションで目標状態を生成し、点対応モデルと古典制御を組み合わせてロボットのマニピュレーション技能を自律獲得する手法を提案。

詳しい要約

1. どんなもの?

- 3D ゴール駆動型のロボットマニピュレーションのための生成型ロボティックエージェント「ForeRobo」 - 生成シミュレーションを活用し、想像されたゴール状態に導かれてマニピュレーションスキルを自律獲得 - 低レベル方策を直接学習せず、生成パラダイムと古典制御を統合 - 自己誘導の propose-generate-learn-actuate サイクルを備える

2. 先行研究と比べてどこがすごい?

- end-to-end の方策学習手法と比較して、ForeFormer は解釈性と実行効率に優れる - 最先端の state generation model に対し平均 56.32% の改善 - 剛体・articulated object の多様なマニピュレーションタスクで強い汎用性 - 20 以上の実機タスクで zero-shot sim-to-real 転移を達成し、平均成功率 79.28%

3. 技術・手法の肝は?

- propose-generate-learn-actuate の自己誘導サイクル - エージェントが獲得すべきスキルを提案し、対応するシミュレーション環境を構築 - ForeGen: オブジェクトを適切に配置し、スキルと整合するゴール状態を生成 - ForeFormer: シーン状態とタスク指示から、現状態の各点の 3D ゴール位置を予測して点対応を確立 - 想像されたゴール状態に基づき古典制御アルゴリズムで実環境のロボットを駆動

4. どうやって有効だと検証した?

- ForeFormer を多様な剛体・articulated object マニピュレーションタスクで学習・ベンチマーク - 最先端の state generation model と比較し平均 56.32% 改善を観測 - 20 以上の実機ロボットタスクで評価し、zero-shot sim-to-real 転移と汎化性能を確認 - 平均成功率 79.28% を達成

5. 議論はある?

- 要旨からは不明 - 明示されているのは end-to-end 方策学習に対する解釈性・実行効率の優位性と、シミュレーション生成データ活用の有効性

6. 次に読むべき論文は?

- end-to-end policy learning 手法 - state generation model の最先端手法 - 古典制御アルゴリズム - sim-to-real transfer 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dexin wang, Faliang Chang, Chunsheng Liu

分類: cs.RO

原文アブストラクト

Efficiently leveraging simulation to acquire advanced manipulation skills is both challenging and highly significant. We introduce \textit{ForeRobo}, a generative robotic agent that utilizes generative simulations to autonomously acquire manipulation skills driven by envisioned goal states. Instead of directly learning low-level policies, we advocate integrating generative paradigms with classical control. Our approach equips a robotic agent with a self-guided \textit{propose-generate-learn-actuate} cycle. The agent first proposes the skills to be acquired and constructs the corresponding simulation environments; it then configures objects into appropriate arrangements to generate skill-consistent goal states (\textit{ForeGen}). Subsequently, the virtually infinite data produced by ForeGen are used to train the proposed state generation model (\textit{ForeFormer}), which establishes point-wise correspondences by predicting the 3D goal position of every point in the current state, based on the scene state and task instructions. Finally, classical control algorithms are employed to drive the robot in real-world environments to execute actions based on the envisioned goal states. Compared with end-to-end policy learning methods, ForeFormer offers superior interpretability and execution efficiency. We train and benchmark ForeFormer across a variety of rigid-body and articulated-object manipulation tasks, and observe an average improvement of 56.32\% over the state-of-the-art state generation models, demonstrating strong generality across different manipulation patterns. Moreover, in real-world evaluations involving more than 20 robotic tasks, ForeRobo achieves zero-shot sim-to-real transfer and exhibits remarkable generalization capabilities, attaining an average success rate of 79.28\%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI