AffordanceWAM: アフォーダンス認識型の世界行動統合モデリングによるロボットマニピュレーション

- ロボットマニピュレーションのための Affordance-aware な生成型 World Action Model「AffordanceWAM」を提案。 - 物体中心の時空間 affordance を Scalar Affordance と Affordance Heatmap で表現し、生成された未来 World 内で扱う。 - 事前学習済み video diffusion Transformer を基盤に、World Expert と Action Expert を別々にパラメータ化し、Masked Joint Self-Attention で結合。 - 未来 RGB 観測、Scalar Affordance、Affordance Heatmap、連続ロボット action を unified flow-matching 目的で同時予測する。

- action ラベル付きロボット動画は制御の直接教師になるが高コストで多様性が限られる。 - 一人称視点の人間動画は多様な相互作用を含むが、ロボット action がなく embodiment や見た目も異なる。 - 提案手法は affordance を人間動画とロボット動画に共通する相互作用ターゲットとして用い、human action ラベルや retargeting なしで転移を可能にする。 - RGB-only および robot-data-only ベースラインに対し一貫した性能向上を示す。

- 物体中心の時空間 affordance を Scalar Affordance と Affordance Heatmap で表現。 - 生成された未来 World 内でこの表現を予測し、視覚予測をタスク関連物体・相互作用領域に接地させる。 - 事前学習済み video diffusion Transformer 上に、別々にパラメータ化した World Expert と Action Expert を構築。 - Masked Joint Self-Attention で両 Expert を結合し、unified flow-matching 目的で未来 RGB、Scalar Affordance、Affordance Heatmap、連続ロボット action を同時予測。 - 人間動画は3つの未来-World ストリームを教師し、ロボット軌跡は追加で action 教師を与える。

- RoboCasa、CALVIN ABC→D、実世界マニピュレーションで実験。 - RGB-only および robot-data-only ベースラインに対し一貫した性能向上を確認。 - 固定されたロボット教師の下で、affordance 注釈付き人間動画のスケールに応じて RoboCasa 性能が単調に向上。 - これらの結果から、affordance が vision-language-action 学習と human-to-robot 転移の両方に有効なインターフェースであることを支持。

- 要旨からは、限界や失敗事例、計算コスト、affordance 注釈の品質依存性などに関する議論は明示されていない。 - 主張として、affordance が vision-language-action 学習と human-to-robot 転移の有効なインターフェースになり得ると述べられている。 - 詳細な議論は要旨からは不明。

- 要旨で参照・比較されている研究：RGB-only ベースライン、robot-data-only ベースライン。 - 関連手法：video diffusion Transformer、flow-matching、World Action Model、vision-language-action learning。 - データセット／ベンチマーク：RoboCasa、CALVIN ABC→D。 - 同分野の定番として、robot manipulation における world model や affordance learning に関する研究が次に読む候補となる。