ビデオモデルを汎用ロボットポリシーへ変換する

- ビデオ生成モデルをロボットのバックボーンとして活用する研究。 - ビデオプランナーをそのまま固定し、embodiment固有のinverse dynamics model (IDM)を別途学習する分離型アプローチを提案。 - 閉ループのvideo-to-action policy「VERA (Video-to-Embodied Robot Action Model)」を構築。 - シミュレーションと実世界のベンチマークで評価し、zero-shotのPanda arm操作や16-DoF Allegro-handのcube re-orientationを実現。

- 従来はvideo modelをaction-labeled dataでfinetuningし、future observationsとactionsを同時予測するrobot foundation modelが提案されていた。 - 本研究はvideo plannerを変更せず、embodiment固有のIDMのみを学習する分離型を採用。 - 利点として、video plannerがembodiment-agnosticに保たれ、異なるvideo modelをIDM再学習なしで交換可能、IDMをself-play dataで独立に学習可能。 - 同一video plannerを異なるembodimentのIDMと組み合わせて使える点が新しい。

- action-freeなvideo world modelと、robot embodiment Jacobianに基づく慎重に設計されたIDMを組み合わせた閉ループvideo-to-action policy。 - IDMはdata-efficientかつ高次元action spaceにスケール可能な設計。 - video plannerは固定し、embodiment固有のIDMを別途学習することで分離を実現。 - 具体的なネットワーク構成や学習手順の詳細は要旨からは不明。

- シミュレーションおよび実世界のベンチマークで評価。 - zero-shotのPanda arm manipulationと16-DoF Allegro-hand dexterous cube re-orientationを達成。 - 同一video plannerを複数embodimentで異なるIDMと組み合わせて使用可能であることを示した。 - 詳細な実験設定や比較手法は要旨からは不明。

- 分離型video planningと忠実なvideo-to-action translationが、zero-shot・cross-embodiment・generalizableなロボット制御への有効な代替経路であると主張。 - 限界や課題、今後の議論については要旨からは不明。

- 要旨で参照/比較されている先行研究: action-labeled dataでvideo modelをfinetuningするrobot foundation model。 - 関連手法: inverse dynamics model (IDM)、video world model、robot embodiment Jacobian。 - 同分野の定番: video generative models for robotics、robot foundation models。