フローベース動画予測による汎用両腕基盤ポリシー
Towards a Generalizable Bimanual Foundation Policy via Flow-based Video Prediction
テキストからフロー、フローから動画への2段階ファインチューニングで動画予測を行い、軽量拡散ポリシーで両腕ロボットの行動を生成する基盤ポリシーを提案。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Chenyou Fan, Fangzheng Yan, Chenjia Bai, Jiepeng Wang, Chi Zhang, Zhen Wang, Xuelong Li
分類: cs.CV, cs.RO
原文アブストラクト
Learning a generalizable bimanual manipulation policy is extremely challenging for embodied agents due to the large action space and the need for coordinated arm movements. Existing approaches rely on Vision-Language-Action (VLA) models to acquire bimanual policies. However, transferring knowledge from single-arm datasets or pre-trained VLA models often fails to generalize effectively, primarily due to the scarcity of bimanual data and the fundamental differences between single-arm and bimanual manipulation. In this paper, we propose a novel bimanual foundation policy by fine-tuning the leading text-to-video models to predict robot trajectories and training a lightweight diffusion policy for action generation. Given the lack of embodied knowledge in text-to-video models, we introduce a two-stage paradigm that fine-tunes independent text-to-flow and flow-to-video models derived from a pre-trained text-to-video model. Specifically, optical flow serves as an intermediate variable, providing a concise representation of subtle movements between images. The text-to-flow model predicts optical flow to concretize the intent of language instructions, and the flow-to-video model leverages this flow for fine-grained video prediction. Our method mitigates the ambiguity of language in single-stage text-to-video prediction and significantly reduces the robot-data requirement by avoiding direct use of low-level actions. In experiments, we collect high-quality manipulation data for real dual-arm robot, and the results of simulation and real-world experiments demonstrate the effectiveness of our method.
関連論文
- 言語指示による両腕マニピュレーションのためのタスク計画と実行の橋渡し両腕マニピュレーション
- 物体中心学習で両腕の器用さを引き出すSimDuoReal両腕マニピュレーション
- RoboSTD: 矢状面ミラーリングによる片腕から両腕へのゼロショット転移学習両腕マニピュレーション
- 両腕ロボット制御における機能特化の学習両腕マニピュレーション
- スケジュールではなくタスクを学ぶ：両腕模倣学習における偽の腕間結合の低減両腕マニピュレーション
- 長期的な両腕タスク・動作計画のための接地された視覚言語インタプリタ両腕マニピュレーション
