日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.13903

PhysicalAgent:基盤世界モデルによる汎用認知ロボティクスの実現

PhysicalAgent: Towards General Cognitive Robotics with Foundation World Models

シェア:XThreadsFacebookLINEはてブBluesky

テキスト指示から拡散モデルで動画デモを生成し、ロボットで実行・失敗時に再計画する反復ループで、多様なロボットのマニピュレーション成功率を最大80%まで高めた。

詳しい要約

1. どんなもの?

- テキスト指示からロボット操作を実行する agentic framework「PhysicalAgent」 - iterative reasoning、diffusion-based video generation、closed-loop execution を統合 - 候補 trajectory の短い video demonstration を生成し、実機で実行、失敗に応じて再計画 - 複数の知覚 modality と embodiment で評価 - egocentric、third-person、simulated の知覚 - bimanual UR3、Unitree G1 humanoid、simulated GR1 の embodiment - 汎用 cognitive robotics を目指す枠組み

2. 先行研究と比べてどこがすごい?

- state-of-the-art の task-specific baselines と比較し、一貫して上回ると報告 - human-familiar tasks で最大 83% の success - 単一タスク特化ではなく、video-based generative reasoning による汎用操作を狙う点が特徴 - 初回試行の成功は限定的(20-30%)だが、iterative correction で全体 success を 80% に向上 - 失敗からの回復を明示的に扱う点が先行手法との差異として示唆される - 具体的な baseline 名は要旨からは不明

3. 技術・手法の肝は?

- 入力は textual instruction - 処理の流れ - iterative reasoning により計画を反復 - diffusion-based video generation で候補 trajectory の短い video demonstration を生成 - ロボット上で実行(closed-loop execution) - 失敗に応じて再計画(iterative re-planning) - 生成した video を軌跡の表現として用い、実行結果をフィードバックして修正する点が肝 - 詳細な model 構成や学習手順は要旨からは不明

4. どうやって有効だと検証した?

- 複数の perceptual modality で評価 - egocentric、third-person、simulated - 複数の robotic embodiment で評価 - bimanual UR3、Unitree G1 humanoid、simulated GR1 - state-of-the-art の task-specific baselines と比較 - 結果 - human-familiar tasks で最大 83% success - 実機 trial では first-attempt success が 20-30% にとどまる一方、iterative correction により全 platform で overall success 80% に到達

5. 議論はある?

- video-based generative reasoning が general-purpose robotic manipulation に有効である可能性を示唆 - 初回失敗が多いため、iterative execution による回復が重要と強調 - first-attempt success 20-30%、反復修正で 80% - scalable、adaptable、robust な robot control への道筋を主張 - 限界や失敗要因の詳細、計算コスト、安全性などの議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている state-of-the-art の task-specific baselines(具体名は要旨からは不明) - diffusion-based video generation を用いた robotics 研究(例: video diffusion model 系の手法) - iterative re-planning / closed-loop execution を扱う robot learning 研究 - 関連手法として、language-conditioned manipulation や world model を用いた planning の代表的研究を次に読む候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Artem Lykov, Jeffrin Sam, Hung Khang Nguyen, Vladislav Kozlovskiy, Yara Mahmoud, Valerii Serpiva, Miguel Altamirano Cabrera, Mikhail Konenkov, Dzmitry Tsetserukou

分類: cs.RO

原文アブストラクト

We introduce PhysicalAgent, an agentic framework for robotic manipulation that integrates iterative reasoning, diffusion-based video generation, and closed-loop execution. Given a textual instruction, our method generates short video demonstrations of candidate trajectories, executes them on the robot, and iteratively re-plans in response to failures. This approach enables robust recovery from execution errors. We evaluate PhysicalAgent across multiple perceptual modalities (egocentric, third-person, and simulated) and robotic embodiments (bimanual UR3, Unitree G1 humanoid, simulated GR1), comparing against state-of-the-art task-specific baselines. Experiments demonstrate that our method consistently outperforms prior approaches, achieving up to 83% success on human-familiar tasks. Physical trials reveal that first-attempt success is limited (20-30%), yet iterative correction increases overall success to 80% across platforms. These results highlight the potential of video-based generative reasoning for general-purpose robotic manipulation and underscore the importance of iterative execution for recovering from initial failures. Our framework paves the way for scalable, adaptable, and robust robot control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI