マニピュレーション2025/6/1arXiv:2506.18825

SViP: 物体中心の動作プリミティブによる両腕視覚運動ポリシーのシーケンス化

SViP: Sequencing Bimanual Visuomotor Policies with Object-Centric Motion Primitives

人間のデモを両腕・片腕操作に分割し、視覚運動ポリシーとタスク・動作計画を統合することで、少ないデモでも長期的な両腕操作タスクを汎化可能にするフレームワークを提案。

詳しい要約

1. どんなもの？

- SViPは、bimanual manipulation(両腕操作)タスクのためのフレームワーク。 - imitation learning(IL)で学習したvisuomotor policyをtask and motion planning(TAMP)に統合する。 - 人間のdemonstrationをsemantic scene graph monitorでbimanual/unimanual操作に分割し、scripted primitivesと組み合わせて長期的タスクを実行する。

2. 先行研究と比べてどこがすごい？

- 従来のvisuomotor policyは小規模demonstration datasetでは汎化が限られ、長期的タスクで誤差が蓄積する問題があった。 - SViPは20件の実世界demonstrationのみで、out-of-distribution初期条件への汎化を実現。 - object pose estimatorを必要とせず、未見タスクでもTAMPのconstraint modelingにより解を自動発見する点が先行研究と異なる。

3. 技術・手法の肝は？

- semantic scene graph monitorで人間のdemonstrationをbimanual/unimanual操作に分割。 - key scene graphの連続決定変数を用いてswitching condition generatorを訓練。 - 生成されたparameterized scripted primitivesをvisuomotor policyと組み合わせ、TAMPの枠組みで制約モデリングを行う。

4. どうやって有効だと検証した？

- 実世界実験で、20件のdemonstrationのみを用いて評価。 - out-of-distribution初期条件への汎化と、未見タスクでの解発見を検証。 - state-of-the-artのgenerative IL手法と比較し、SViPが優れることを示した。

5. 議論はある？

- 要旨からは不明。 - ただし、限られたdemonstrationでの汎化と長期的タスクの誤差蓄積への対処が主な議論点と考えられる。

6. 次に読むべき論文は？

- 比較対象として言及されるstate-of-the-art generative IL手法(具体的名称は要旨からは不明)。 - 関連手法としてtask and motion planning(TAMP)、semantic scene graph、visuomotor policy、imitation learningの代表的論文を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yizhou Chen, Hang Xu, Dongjie Yu, Zeqing Zhang, Yi Ren, Jia Pan

分類: cs.RO

原文アブストラクト

Imitation learning (IL), particularly when leveraging high-dimensional visual inputs for policy training, has proven intuitive and effective in complex bimanual manipulation tasks. Nonetheless, the generalization capability of visuomotor policies remains limited, especially when small demonstration datasets are available. Accumulated errors in visuomotor policies significantly hinder their ability to complete long-horizon tasks. To address these limitations, we propose SViP, a framework that seamlessly integrates visuomotor policies into task and motion planning (TAMP). SViP partitions human demonstrations into bimanual and unimanual operations using a semantic scene graph monitor. Continuous decision variables from the key scene graph are employed to train a switching condition generator. This generator produces parameterized scripted primitives that ensure reliable performance even when encountering out-of-the-distribution observations. Using only 20 real-world demonstrations, we show that SViP enables visuomotor policies to generalize across out-of-distribution initial conditions without requiring object pose estimators. For previously unseen tasks, SViP automatically discovers effective solutions to achieve the goal, leveraging constraint modeling in TAMP formulism. In real-world experiments, SViP outperforms state-of-the-art generative IL methods, indicating wider applicability for more complex tasks. Project website: https://sites.google.com/view/svip-bimanual

arXivで原文を読む →arXiv概要ページ

SViP: 物体中心の動作プリミティブによる両腕視覚運動ポリシーのシーケンス化

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell