日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.09813

iMaC: 動作と接触画像への変換による具現化ワールドモデル

iMaC: Translating Actions into Motion and Contact Images for Embodied World Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作のための新しい制御パラダイムを提案し、画像をアクション表現として用いることで、従来のベクトルベースのアクションよりも表現力と汎化性を向上させる。

詳しい要約

1. どんなもの?

- 本論文は、embodied world models のための新しい制御パラダイム iMac (Image as Action Control) を提案する。 - 従来の低次元の action vector (関節角度や end-effector pose) ではなく、raw visual images を action 表現として扱う。 - 連続的な視覚操作を image-based action tokens として定式化し、空間的な運動意図、幾何学的制約、物理ダイナミクスを内包させる。 - image-action encoder と dynamic world predictor からなる dual-branch アーキテクチャを構築。 - 公開の embodied manipulation benchmarks と実世界ロボットシナリオで評価し、予測精度、タスク成功率、cross-scene 汎化性能で vector-based 手法を上回る。

2. 先行研究と比べてどこがすごい?

- 従来の embodied フレームワークは低次元の構造化 action vector に依存し、表現力が限られ、多様な embodiment への汎化が悪く、複雑な物理相互作用の動的モデリングが不自然である。 - iMac は raw visual images を action 表現とすることで、手動で定義された action space への依存を排除し、異種の embodied agents に対する柔軟で普遍的な制御を実現する。 - 予測精度、タスク成功率、cross-scene 汎化能力において vector-based action control ベースラインを上回る。

3. 技術・手法の肝は?

- 連続的な視覚操作を image-based action tokens として定式化し、空間的な運動意図、相互作用の幾何学的制約、微妙な物理ダイナミクスを内包させる。 - dual-branch embodied architecture を構築:image-action encoder が target-driven visual images を compact action embeddings に圧縮し、dynamic world predictor が image actions を条件として環境遷移規則を学習する。 - これにより高忠実度の未来状態予測と closed-loop embodied control を実現する。

4. どうやって有効だと検証した?

- 公開の embodied manipulation benchmarks と実世界ロボットシナリオで広範な実験を実施。 - 結果として、予測精度、タスク成功率、cross-scene 汎化能力において vector-based action control ベースラインを上回ることを示した。 - また、image-action 設計が手動定義の action space への依存を排除し、異種 embodied agents の柔軟で普遍的な制御を実現することを示した。

5. 議論はある?

- 要旨からは、提案手法の限界や議論の詳細は不明。 - ただし、従来の action vector の表現力不足、汎化性能の低さ、不自然な動的モデリングという問題に対処する点が強調されている。 - 今後の課題や制約については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法として vector-based action control ベースライン、embodied world models、embodied manipulation benchmarks が挙げられる。 - 同分野の定番として、visual robotic decision-making、interactive environment simulation、action representation learning に関する研究が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenyu Wu, Xiuwei Xu, Yukun Zhou, Yifan Li, Qiuping Deng, Xiaofeng Wang, Zheng Zhu, Bingyao Yu, Ziwei Wang, Jiwen Lu, Haibin Yan

分類: cs.RO, cs.CV

原文アブストラクト

Embodied world models have emerged as a pivotal paradigm for visual robotic decision-making and interactive environment simulation. However, conventional embodied frameworks rely on low-dimensional structured action vectors (e.g., joint angles and end-effector poses), which suffer from limited expressive capacity, poor generalization across diverse embodiments, and unnatural dynamic modeling for complex physical interactions. To address these limitations, this paper proposesiMac (Image as Action Control), a novel unified control paradigm that treats raw visual images as native action representations for embodied world models. Departing from traditional explicit kinematic action encoding, iMac formulates continuous visual manipulation as image-based action tokens, which inherently encapsulate spatial motion intentions, interactive geometric constraints and subtle physical dynamics. We construct a dual-branch embodied architecture consisting of an image-action encoder and a dynamic world predictor: the encoder compresses target-driven visual images into compact action embeddings, while the predictor learns environment transition rules conditioned on image actions to achieve high-fidelity future state prediction and closed-loop embodied control. Extensive experiments are conducted on public embodied manipulation benchmarks and real-world robotic scenarios. The results demonstrate that iMac outperforms vector-based action control baselines in prediction accuracy, task success rate and cross-scene generalization ability. Moreover, our image-action design eliminates the reliance on manually defined action spaces, realizing flexible and universal control for heterogeneous embodied agents. This work provides an innovative visual-action perspective for embodied world models, offering a simple yet effective paradigm for scalable robotic perception and manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI