日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/具身知能arXiv:2606.12690

EWAM: 具身知能における閉ループオンライン適応のための拡張世界行動モデル

EWAM: An Enhanced World Action Model for Closed-Loop Online Adaptation in Embodied Intelligence

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みの凍結Cosmos3バックボーン上に、推論時に挿入する4つの軽量ニューラル層(記憶・異常検知・ポリシールーティング・行動修正)を組み合わせた閉ループオンライン適応アーキテクチャEWAMを提案。ゼロショット評価で追加データなしに新タスクレイアウトへ適応する。

詳しい要約

1. どんなもの?

- 本論文では、Embodied Intelligence向けのClosed-Loop Online Adaptationアーキテクチャ「Enhanced World Action Model (EWAM)」を提案している。 - 事前学習済みで完全に凍結されたCosmos3バックボーン上に構築され、Zero-Shotタスクプロトコルの下で評価される。 - 新しいタスクレイアウトに適応するために必要な追加の展開データ量を削減することに焦点を当てている。 - タスク固有のデモンストレーションセットは導入せず、バックボーンのFine-Tuningも行わない。 - 性能向上は、推論時に挿入された4つの軽量ニューラル層からなるCo-Reasoningメカニズムに完全に由来する。

2. 先行研究と比べてどこがすごい?

- 従来の手法では、新しいタスクへの適応に追加のデモンストレーションやFine-Tuningが必要となることが多いが、EWAMはそれらを一切必要としない。 - 事前学習済みのCosmos3を完全に凍結したまま、推論時のCo-Reasoningメカニズムのみで性能を向上させる点が革新的である。 - 単純な特徴融合ではなく、メモリ、異常検知、修正モジュールを微分可能な形でCosmos3のフォワードパスに深く統合している。 - 最終的なルーティング決定のみが離散的な教師あり学習であるという点で、既存のアプローチとは異なる。

3. 技術・手法の肝は?

- 4つの軽量ニューラル層を挿入するCo-Reasoningメカニズムが肝である。 - Neural Experience Memory Layer: Diffusion Transformer (DiT)の中間層に位置し、タスクに関連する実行コンテキストを提供する。 - Neural Anomaly Detection Layer: 状態予測ヘッドの後に配置され、予測状態と実際の状態の乖離をリアルタイムで監視する。 - Neural Policy Routing Layer: 異常の深刻度に基づいて、直接実行、保守的な再計画、ロールバック回復を動的に選択する。 - Neural Action Correction Layer: 実行診断を用いて生成されたアクションチャンクを洗練する。 - メモリ、異常検知、修正モジュールは微分可能な形でCosmos3のフォワードパスに深く統合され、最終的なルーティング決定のみが離散的な教師ありである。

4. どうやって有効だと検証した?

- Zero-Shotタスクプロトコルの下で完全に評価されている。 - 追加のタスク固有デモンストレーションセットは導入せず、バックボーンのFine-Tuningも行っていない。 - 性能向上が推論時のCo-Reasoningメカニズムに由来することを示している。 - 具体的な評価指標やベンチマークについては要旨からは不明。

5. 議論はある?

- 要旨からは、議論や限界についての言及は不明。 - 提案手法の有効性は主張されているが、他の手法との比較や詳細な分析については要旨に記載がない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Cosmos3、Diffusion Transformer (DiT)、World Action Model、Closed-Loop Online Adaptation、Zero-Shotタスクプロトコルなどが挙げられる。 - 同分野の定番として、Embodied IntelligenceにおけるWorld ModelやAction Modelの研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xin Zhou, Cong Miao

分類: cs.RO, cs.AI

原文アブストラクト

In this paper, we propose the Enhanced World Action Model (EWAM), a closed-loop online adaptation architecture built upon a pretrained and fully frozen Cosmos3 backbone network. Evaluated entirely under a zero-shot task protocol, EWAM is centrally focused on reducing the amount of additional deployment data required to adapt to new task layouts. Notably, no extra task-specific demonstration sets were introduced in any of the evaluations, and no fine-tuning was performed on the backbone network. Its performance gains stem entirely from an inference-time co-reasoning mechanism composed of four inserted lightweight neural layers: the Neural Experience Memory Layer located in the intermediate layers of the Diffusion Transformer (DiT) provides task-relevant execution context; the Neural Anomaly Detection Layer after the state prediction head monitors the divergence between predicted and actual states in real time; the Neural Policy Routing Layer dynamically selects direct execution, conservative replanning, or rollback recovery based on the anomaly severity; and the Neural Action Correction Layer refines the generated action chunks using execution diagnostics. Unlike naive feature fusion, the memory, anomaly detection, and correction modules are deeply integrated into the Cosmos3 forward path in a differentiable manner, with only the final routing decision being a discrete supervised one.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI