日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.09516

HarnessWAM:世界行動モデルにおける予測と熟考の橋渡し

HarnessWAM: Bridging Prediction and Deliberation in World Action Models

シェア:XThreadsFacebookLINEはてブBluesky

世界行動モデル(WAM)の予測と実行のギャップを埋めるエージェントフレームワークを提案。視覚言語モデルによるタスク管理とイベント駆動の二重タイムスケールフィードバックで、複雑なタスクの計画・実行・失敗回復を実現する。

詳しい要約

1. どんなもの?

HarnessWAMは、World Action Models (WAMs)の予測と実行のギャップを埋めるためのエージェントフレームワーク。WAMsは環境ダイナミクスとロボットのアクションを同時に学習するが、複雑な具現化タスクにはグローバルな計画、状態維持、実行検証、失敗回復が必要。HarnessWAMは、Vision-Language-ModelベースのTask Managerを用いて、エビデンスに基づくシーン信念と構造化タスクグラフを維持し、能力条件付き実行可能空間投影により、オープンエンドな意味的計画を原子スキル列に制約する。実行中は、イベント駆動の二重タイムスケールフィードバックループを採用し、軽量な進捗推定器が高頻度の実行エビデンスを提供し、Task Managerが重要なマイルストーンでタスクの進行、追加観測、計画修正、局所回復を決定する。これにより、サブタスク失敗後の状態回復と、シーン知識を破棄せずに実行再開が可能。

2. 先行研究と比べてどこがすごい?

先行研究のWAMsは有限ホライズンの予測とアクション生成に焦点を当てており、複雑な具現化タスクに必要なグローバル計画や失敗回復が欠けていた。HarnessWAMは、モデル外部の構造化状態維持と閉ループのエージェント的決定を導入することで、WAMsの局所制御能力を拡張し、計画可能・検証可能・回復可能なタスク実行を実現。RoboMemArenaとRoboCerebra IdealでSOTAを達成し、このアプローチの有効性を示した。

3. 技術・手法の肝は?

手法の肝は、Vision-Language-ModelベースのTask Managerによるエビデンスに基づくシーン信念とタスクグラフの維持、能力条件付き実行可能空間投影による意味的計画の原子スキル列への制約、そしてイベント駆動の二重タイムスケールフィードバックループ。軽量な進捗推定器が高頻度の実行エビデンスを提供し、Task Managerがマイルストーンで観測・タスク状態・履歴を統合して決定する。これにより、サブタスク失敗後の局所回復とシーン知識の保持が可能。

4. どうやって有効だと検証した?

RoboMemArenaでフルタスク成功率59.6%、サブタスク成功率69.9%、RoboCerebra IdealでSR 23.7%を達成し、SOTAを更新。これにより、モデル外部の構造化状態維持と閉ループのエージェント的決定がWAMsの局所制御を拡張することを実証。

5. 議論はある?

要旨からは、HarnessWAMの限界や議論点は不明。ただし、モデル外部の状態維持とエージェント的決定が計算コストやスケーラビリティに影響する可能性が考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

要旨で参照されているのはWorld Action Models (WAMs)とRoboMemArena、RoboCerebra Ideal。次に読むべきは、WAMsの基礎論文やRoboMemArena、RoboCerebraのデータセット論文、およびVision-Language-Modelを用いたタスク計画の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhaopeng Gu, Bingke Zhu, Tianxi Lin, Guibo Zhu, Yingying Chen, Kai Wang, Tingyu Yuan, Chaoyang Zhao, Zhaowen Li, Peng Su, Jinqiao Wang

分類: cs.RO

原文アブストラクト

World Action Models (WAMs) jointly learn environmental dynamics and robot actions, introducing priors over physical evolution into embodied control. However, finite-horizon prediction and action generation are insufficient for complex embodied tasks that require global planning, cross-stage state maintenance, execution verification, and failure recovery. We refer to this mismatch as the prediction-deliberation gap of WAMs. To address this gap, we propose HarnessWAM, an agentic framework for WAMs. HarnessWAM employs a vision-language-model-based Task Manager to maintain an evidence-grounded scene belief and a structured task graph. A capability-conditioned executable-space projection further constrains open-ended semantic plans into sequences of atomic skills that satisfy task dependencies, embodiment-state constraints, and the capability boundary of the underlying WAM. During execution, HarnessWAM operates through an event-driven, dual-timescale feedback loop: a lightweight progress estimator continuously provides high-frequency execution evidence, while the Task Manager deliberates at salient milestones by jointly considering the current observation, task state, and interaction history to determine whether to advance the task, acquire additional observations, revise the plan, or initiate local recovery. This mechanism enables the robot to recover its state after a subtask failure and resume execution without discarding previously acquired scene knowledge. HarnessWAM achieves state-of-the-art full-task and subtask success rates of 59.6% and 69.9% on RoboMemArena, and an SR of 23.7% on RoboCerebra Ideal. These results demonstrate that model-external structured state maintenance and closed-loop agentic decision making can effectively extend the local control capabilities of WAMs into embodied task execution that is plannable, verifiable, and recoverable.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI