HARP-VLA: 人間とロボットの視覚表現を整合させる視覚言語行動モデル学習

- 大規模な人間動画から汎化可能な VLA モデルを学習する枠組み。 - 課題は visual observation と executable action の cross-embodiment discrepancy。 - latent action model は action の抽象化で execution gap を減らすが visual feature に依存。 - 人間とロボットの visual representation の misalignment が policy input の不一致と domain-dependent latent action を招く。 - 提案 HARP は human-robot aligned representation learning framework。 - 限られた paired human-robot demonstration を cross-embodiment bridge とし、豊富な unpaired 動画を scalable dynamics supervision に使う。

- 従来の latent action model は action 抽象化で execution gap を緩和するが visual feature の misalignment は未解決。 - そのため policy input の不一致と domain-dependent latent action が生じ、human video との co-training が妨げられる。 - HARP は visual representation の human-robot alignment を明示的に行う点が新しい。 - 限られた paired demonstration と豊富な unpaired 動画を組み合わせ、scalable に dynamics supervision を得る。 - 結果として unified vision and action representation を VLA-style policy learning に提供。

- 限られた paired human-robot demonstration を cross-embodiment bridge として利用。 - 豊富な unpaired human/robot video を scalable dynamics supervision のデータ源とする。 - robot-adapted visual encoder と latent action model を訓練。 - manipulation-centric auxiliary cues と source-relative pair-discriminative alignment loss を使用。 - これにより robot representation を human semantics に適応させつつ pair-level discrimination を保持。 - 学習した aligned vision encoder と latent action model が unified vision/action representation を提供。 - human/robot vi…

- feature visualization で human-robot alignment の改善を確認。 - simulation で評価。 - real-world manipulation で評価。 - CALVIN ABC→D で average length 4.481 を達成。 - 最強 baseline 比で real-world success rate が 7.1% 向上。 - これらにより alignment と downstream policy performance の改善を示す。

- 要旨からは不明。 - 限界や失敗事例、計算コスト、paired demonstration の必要量などは記述されていない。 - 議論の詳細は要旨からは不明。

- latent action model に関する研究。 - VLA モデルに関する研究。 - CALVIN benchmark に関する研究。 - human video からの robot learning に関する研究。 - cross-embodiment learning に関する研究。 - 要旨で具体的な参照論文名は挙げられていないため、上記の関連手法・ベンチマークを次に読む候補とする。