日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.17114

D-World: 明示的な世界-言語-行動モデルと二重制御下での再帰的自己改善

D-World: An Explicit World-Language-Action Model with Recursive Self-Improvement under Dual Control

シェア:XThreadsFacebookLINEはてブBluesky

知覚エージェントがシーンを実行可能なデジタルツインとして書き出し、計画エージェントがシミュレーション内で行動を探索・修正する明示的な世界-言語-行動モデルを提案。測定に基づく修正サイクルを再帰的自己改善として定式化し、実機-シミュレーション-実機ループで検証する。

詳しい要約

1. どんなもの?

- 明示的な World-Language-Action モデル D-World を提案 - Sense, Plan, Act の分解に基づく - 知覚エージェントが生成した vision/geometry code で scene を実行可能な digital twin として記述 - 計画エージェントが simulation 内で行動を探索し、実行後に twin の object states と named physical parameters を測定値に照らして修正 - LLM は凍結したまま、行為する世界が改善される recursive self-improvement (RSI) を実現

2. 先行研究と比べてどこがすごい?

- 従来の robot policy の world model は network weights や predicted video に暗黙的に保持され、直接検査・修正できない - D-World は world model を digital twin として明示化し、検査と修正を可能にする - 測定に基づく修正サイクルにより、再構築なしで実行継続が可能 - dual control 問題として定式化し、probing のコスト閾値を示す点が新しい

3. 技術・手法の肝は?

- perception agent が vision/geometry code を生成し digital twin を構築 - planning agent が simulation 内で行動探索 - 各 action chunk 実行後、twin の object states と named physical parameters を測定値に基づき修正 - 修正は最新 chunk の replay で measured residual が tolerance を超えない場合のみ受理 - 各 chunk は実行前に更新された twin で検証 - 構造的不一致は perception に戻して再構築 - 行動選択を dual control 問題としてモデル化

4. どうやって有効だと検証した?

- dual-arm robot 上で towel と toaster タスクを実施 - 局所修正の例として、bread の rendered-depth residual を 22.4 mm から 1.5 mm に低減 - 再構築なしで実行を継続できることを確認 - real-to-sim-to-real ループを各 episode で実行

5. 議論はある?

- 知覚と計画は twin と言語のみで通信するため、どちらも学習モデルに置換可能 - 推論がループの支配要因であるため、より高速なモデルでループが加速 - 記録された twin はオフラインで再適合・再レンダリングし、高忠実度環境として post-training に利用可能 - 測定に基づく修正と dual control の閾値の関係を議論

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法として world models, digital twin, dual control, recursive self-improvement, real-to-sim-to-real などが挙げられる - 同分野の定番として robot learning, model-based reinforcement learning, sim-to-real transfer の論文を読むべき

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuan Wen, Baichao Wang

分類: cs.RO, cs.AI

原文アブストラクト

Frontier large language models (LLMs) now reason about space well enough to program robots, yet the world models behind robot policies are implicit, held in network weights or predicted video, and cannot be inspected or corrected directly. We present D-World, an explicit world-language-action model built on the Sense, Plan and Act decomposition. A perception agent writes the scene as an executable digital twin using generated vision and geometry code. A planning agent searches for actions in simulation and, after each executed action chunk, revises the twin's object states and named physical parameters against what the robot measured. A parameter revision is accepted only if replaying the latest chunk does not increase any measured residual beyond its tolerance, and every chunk is checked in the updated twin before it runs. Structural mismatches return to perception for reconstruction. We call this measurement-grounded cycle of correction and revision recursive self-improvement (RSI), in which the LLM stays frozen while the world it acts in improves. We model the choice of actions that both advance the task and expose model error as a dual control problem and show that the cost of incorporating evidence into the twin sets the threshold at which probing pays, so cheap local revision counteracts the turn-off of cautious controllers. Each episode runs a real-to-sim-to-real loop, and its recorded twins can be refitted and re-rendered offline into higher-fidelity environments for post-training. Because perception and planning communicate only through the twin and language, either can be replaced by a learned model, and since inference dominates the loop, the loop speeds up with faster models. On a dual-arm robot, towel and toaster tasks show local revisions, such as one reducing the bread's rendered-depth residual from 22.4 to 1.5 mm, that let execution continue without reconstruction.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI