マニピュレーション2025/6/1arXiv:2506.13428

VLM支援シャムフロー拡散による双腕協調マニピュレーション

VLM-SFD: VLM-Assisted Siamese Flow Diffusion Framework for Dual-Arm Cooperative Manipulation

VLMと拡散モデルを組み合わせ、少数の人間の実演から双腕ロボットの協調動作を学習・汎化するフレームワークを提案。

詳しい要約

1. どんなもの？

- 二本腕協調マニピュレーションのための模倣学習フレームワーク VLM-SFD を提案した論文 - 対象は組立・道具使用・両手把持など、二物体間の相互作用を伴うタスク - 最小限の人間デモから多様な実世界タスクへ高速適応・汎化することを狙う - 構成要素は Siamese Flow Diffusion Network (SFDNet) と dynamic task assignment strategy - 事前学習済み vision-language model (VLM) を用いて各腕への動作割当を適応的に行う

2. 先行研究と比べてどこがすごい？

- 学習ベースの motion planning は多様なタスクへの汎化や動的・非構造環境への適応が課題とされる - 特に二物体間の相互作用を伴う assembly・tool use・bimanual grasping での適応が困難と位置づけ - 本手法は最小数の人間デモから迅速な適応と汎化を実現すると主張 - 二物体を shared latent space に埋め込む Siamese 構造と、タスク指示で条件付けされた拡散による二流の object-centric motion flows が特徴 - VLM による時間変化を考慮した腕への動作割当を組み込む点が差分 - 具体的な先行研究名や定量比較は要旨からは不明

3. 技術・手法の肝は？

- Siamese Flow Diffusion Network (SFDNet): dual-encoder-decoder の Siamese アーキテクチャ - 二つの対象物体を shared latent space に埋め込む表現学習を行う - diffusion-based conditioning process をタスク指示で条件付けし、二流の object-centric motion flows を生成 - 生成された 2D motion flows を 3D 空間へマッピングする dynamic task assignment strategy - 事前学習済み VLM を用い、時間経過に応じて各 robotic arm へ最適な motion を適応的に割り当て - 二流の flows が dual-arm coordination のガイドとなる

4. どうやって有効だと検証した？

- 実験により提案手法の有効性を検証したと記載 - 多様な manipulation tasks への汎化、高い efficiency と adaptability の維持を実証したと主張 - 具体的なタスク種別、ベースライン、成功率的な定量結果は要旨からは不明 - code と demo videos はプロジェクトサイトで公開されている

5. 議論はある？

- 要旨からは不明（限界や失敗事例、計算コスト、VLM 依存性などの議論は記載なし） - 主張として多様タスクへの汎化と高効率・適応性を挙げるが、その定量的根拠は要旨からは不明 - 最小数の人間デモでの学習を強調するが、必要デモ数や感度は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として diffusion policy 系の模倣学習、flow-based motion planning、vision-language model を用いたタスク計画・割当の研究を挙げて読むのが妥当 - dual-arm cooperative manipulation および bimanual grasping の学習ベース手法 - 本論文のプロジェクトサイト https://sites.google.com/view/vlm-sfd/ の demo と参照文献を確認する

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaming Chen, Yiyu Jiang, Aoshen Huang, Yang Li, Wei Pan

分類: cs.RO

原文アブストラクト

Dual-arm cooperative manipulation holds great promise for tackling complex real-world tasks that demand seamless coordination and adaptive dynamics. Despite substantial progress in learning-based motion planning, most approaches struggle to generalize across diverse manipulation tasks and adapt to dynamic, unstructured environments, particularly in scenarios involving interactions between two objects such as assembly, tool use, and bimanual grasping. To address these challenges, we introduce a novel VLM-Assisted Siamese Flow Diffusion (VLM-SFD) framework for efficient imitation learning in dual-arm cooperative manipulation. The proposed VLM-SFD framework exhibits outstanding adaptability, significantly enhancing the ability to rapidly adapt and generalize to diverse real-world tasks from only a minimal number of human demonstrations. Specifically, we propose a Siamese Flow Diffusion Network (SFDNet) employs a dual-encoder-decoder Siamese architecture to embed two target objects into a shared latent space, while a diffusion-based conditioning process - conditioned by task instructions - generates two-stream object-centric motion flows that guide dual-arm coordination. We further design a dynamic task assignment strategy that seamlessly maps the predicted 2D motion flows into 3D space and incorporates a pre-trained vision-language model (VLM) to adaptively assign the optimal motion to each robotic arm over time. Experiments validate the effectiveness of the proposed method, demonstrating its ability to generalize to diverse manipulation tasks while maintaining high efficiency and adaptability. The code and demo videos are publicly available on our project website https://sites.google.com/view/vlm-sfd/.

arXivで原文を読む →arXiv概要ページ

VLM支援シャムフロー拡散による双腕協調マニピュレーション

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell