日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ロボット設計・行動生成arXiv:2610.17881

生成・検証・修正によるエージェント型ロボット創造

Agentic Robot Creation through Generation, Verification, and Revision

シェア:XThreadsFacebookLINEはてブBluesky

AIエージェントが高レベルなユーザ意図からロボットの身体と行動を生成し、実行フィードバックで修正する枠組みを提案。生成設計の機械的失敗を計算指標で評価し、実機ロボットで学習行動を展開した。

詳しい要約

1. どんなもの?

- 高レベルなユーザ意図から機能するロボットを生成し、その振る舞いを教えるAIエージェントの研究。 - embodiment creationとbehavior creationの2側面から検討。 - embodiment creationでは、マルチモーダルモデルが機械的要件をどの程度捉えるかを調査し、製造前に設計を評価する計算指標を導入。 - behavior creationでは、Roboforgeというエージェントフレームワークを提案。タスク仕様を実行可能なポリシーに変換する。 - 運動生成、ポリシー学習、実行に基づく修正を通じて、参照運動を生成し、学習目的を設定し、ポリシーを訓練。 - 運動はループ内に留まり、ロールアウトフィードバックが参照運動や報酬を修正可能。

2. 先行研究と比べてどこがすごい?

- 従来のreward-refinementやone-shot motionベースラインと比較。 - 生成されたembodimentを複数のMLLMで評価し、behavior creationを4つの多様なロボットで評価。 - 計算指標により、生成設計における再発する機械的失敗を明らかに。 - 実行に基づく修正がタスクレベル行動と実行品質を改善することを示す。 - エージェント生成のGorillaを製造し、学習行動を物理ロボットに直接展開。

3. 技術・手法の肝は?

- Roboforge: タスク仕様を実行可能なポリシーに変換するエージェントフレームワーク。 - 運動生成、ポリシー学習、実行に基づく修正を統合。 - 参照運動を生成し、学習目的を設定し、ポリシーを訓練。 - 運動をループ内に保持し、ロールアウトフィードバックで参照運動や報酬を修正。 - embodiment creationでは、マルチモーダルモデルを用いて設計を生成し、計算指標で評価。

4. どうやって有効だと検証した?

- 生成されたembodimentを複数のMLLMで評価。 - behavior creationを4つの多様なロボットで評価。 - reward-refinementおよびone-shot motionベースラインと比較。 - 計算指標が生成設計の機械的失敗を明らかに。 - 実行に基づく修正がタスクレベル行動と実行品質を改善することを実験で示す。 - エージェント生成のGorillaを製造し、物理ロボットに学習行動を展開。

5. 議論はある?

- 計算指標が生成設計における再発する機械的失敗を明らかに。 - 実行に基づく修正がタスクレベル行動と実行品質を改善。 - 物理ロボットへの展開が可能であることを示す。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: reward-refinementベースライン、one-shot motionベースライン。 - 関連手法: マルチモーダルモデル(MLLM)、ポリシー学習、運動生成。 - 同分野の定番: ロボット設計生成、強化学習によるポリシー学習、模倣学習。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuebing Li, Yibo He, Sitong Liu, Ran Ji, Jiayuan Gu

分類: cs.RO

原文アブストラクト

Can an AI agent turn high-level user intent into a functioning robot and teach it how to behave? We study this question from two complementary aspects: embodiment and behavior creation. For embodiment creation, we investigate how well current multimodal models capture mechanical requirements, and introduce computational metrics for evaluating generated designs before fabrication. For behavior creation, we present Roboforge, an agentic framework that turns task specifications into executable policies through motion generation, policy learning, and execution-grounded revision. Given a robot embodiment and task, the agent generates a reference motion, configures the learning objective, and trains a policy. Crucially, motion remains in the loop: rollout feedback can revise the reference motion, reward, or both. We evaluate a generated embodiment across multiple MLLMs and behavior creation across four diverse robots against reward-refinement and one-shot motion baselines. Our computational metrics expose recurring mechanical failures in generated designs, while behavior experiments show that execution-grounded refinement improves task-level behavior and execution quality. Finally, we fabricate an agent-generated Gorilla and directly deploy learned behaviors on the physical robot.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI