行動整合表現によるクロスエンボディメント転移

本論文は、ロボット操作の大規模模倣学習において、異なるロボット間の転移（cross-embodiment transfer）を促進するための行動整合表現（behavior-aligned representations）の役割を研究している。具体的には、物体のバウンディングボックス、言語動作、エンドエフェクタの軌跡などの表現をVision-Language-Action (VLA)モデルに組み込むことで、embodiment間の不変性を持ちながら行動予測に有効な表現が、大規模なcross-embodimentデータの統合と転移を向上させるという仮説を検証する。シミュレーションベースのベンチマークを開発し、異なる表現とその組み込み方法を比較する。

先行研究では、大規模なimitation learningデータセットを活用してcross-embodiment transferを試みているが、依然として困難である。本研究は、表現の選択に焦点を当て、行動整合表現がembodiment間の不変性を提供し、転移を促進するという点で新しい。特に、エンドエフェクタの軌跡が転移に特に有効であること、表現がより大きな事前データセットで有用であること、行動なしデータからも恩恵を受けられることを示す点が先行研究と異なる。

手法の核は、VLAモデルに行動整合表現を組み込むことである。具体的には、物体のバウンディングボックス、言語動作、エンドエフェクタの軌跡などの表現を入力として使用し、これらの表現がembodiment間で不変でありながら行動予測に寄与することを利用する。シミュレーションベースのベンチマークを構築し、多様なcross-embodimentデータから新しいembodimentへの転移を評価する。表現の組み込み方法も比較する。

シミュレーションベースのベンチマークを用いて、異なる表現と組み込み方法を比較した。その結果、エンドエフェクタの軌跡が転移に特に有効であること、表現はより大きな事前データセットで有用であること、行動なしデータからも恩恵を受けられることを示した。さらに、シミュレーションから実ロボットへの転移（sim-to-real）を向上させ、シミュレーションデータで事前学習した実ロボットポリシーのタスク完了進捗を28%改善した。

要旨からは、表現の選択がcross-embodiment transferに重要であることが示唆されるが、具体的な限界や議論は不明である。例えば、エンドエフェクタの軌跡が特に有効な理由や、他の表現との組み合わせの効果、実世界でのスケーラビリティなどについては要旨に記載がない。また、ベンチマークの詳細や比較した表現の完全なリストも不明である。

要旨で参照されている研究は明示されていないが、関連する分野として、大規模imitation learning、Vision-Language-Action (VLA)モデル、cross-embodiment transfer、sim-to-real transferに関する論文が挙げられる。具体的には、RT-1やRT-2などのVLAモデル、Open X-Embodimentデータセット、および表現学習に関する研究が関連する。