マニピュレーション2025/6/1arXiv:2506.13762

触覚は視覚の終わるところから始まる：接触を伴う操作のための汎化可能な方策

Touch begins where vision ends: Generalizable policies for contact-rich manipulation

視覚言語モデルで物体を定位し、視覚と触覚を用いた局所的な方策で接触を伴う操作を行うViTaLを提案し、未知環境で約90%の成功率を達成した。

詳しい要約

1. どんなもの？

- 精密な接触を伴う manipulation タスクを解くための ViTaL (VisuoTactile Local) ポリシー学習フレームワーク - タスクを2段階に分解する - reaching phase: VLM が scene-level reasoning で対象物体を localize - local interaction phase: 再利用可能で scene-agnostic な ViTaL ポリシーが egocentric vision と tactile sensing で接触を伴う操作を実行 - 学習済みの local ポリシーを localize-then-execute 戦略で適用する

2. 先行研究と比べてどこがすごい？

- データ駆動手法の課題を指摘 - imitation learning は多数の取得困難な demonstration を要する - reinforcement learning は brittle で汎化しないポリシーになりがち - 本研究は scene context は変化するが低レベル interaction はタスク間で一貫するという観察に基づく - local ポリシーを canonical setting で一度学習すれば、未知環境へ汎化できる点が特徴 - 未見環境の接触リッチタスクで約90%成功、distractor にも頑健

3. 技術・手法の肝は？

- タスクを reaching と local interaction に分解する設計 - VLM による scene-level reasoning で対象物体を localize - scene-agnostic な ViTaL ポリシーが egocentric vision と tactile sensing を入力に接触リッチ操作を実行 - 有効性の鍵として3点を挙げる - segmentation 用 foundation model により behavior cloning で頑健な visual encoder を学習 - その encoder が residual RL で学習するポリシーの汎化性を向上 - tactile sensing が接触リッチタスクの性能を大きく向上

4. どうやって有効だと検証した？

- 未見環境での接触リッチタスクで約90%の成功率を報告 - distractor に対する頑健性を確認 - 上記3つの知見それぞれについて ablation studies で検証 - 高レベル VLM との統合が良好に機能し、頑健で再利用可能な低レベル skill を実現することを示す - 結果と動画は https://vitalprecise.github.io で公開

5. 議論はある？

- 要旨からは不明 - ただし3つの知見(segmentation による encoder 学習、residual RL の汎化性、tactile sensing の寄与)は ablation で裏付けられている - 高レベル VLM との統合可能性に言及

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: imitation learning、reinforcement learning、residual RL、VLM、segmentation 用 foundation model - 関連手法として behavior cloning を挙げる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zifan Zhao, Siddhant Haldar, Jinda Cui, Lerrel Pinto, Raunaq Bhirangi

分類: cs.RO, cs.CV

原文アブストラクト

Data-driven approaches struggle with precise manipulation; imitation learning requires many hard-to-obtain demonstrations, while reinforcement learning yields brittle, non-generalizable policies. We introduce VisuoTactile Local (ViTaL) policy learning, a framework that solves fine-grained manipulation tasks by decomposing them into two phases: a reaching phase, where a vision-language model (VLM) enables scene-level reasoning to localize the object of interest, and a local interaction phase, where a reusable, scene-agnostic ViTaL policy performs contact-rich manipulation using egocentric vision and tactile sensing. This approach is motivated by the observation that while scene context varies, the low-level interaction remains consistent across task instances. By training local policies once in a canonical setting, they can generalize via a localize-then-execute strategy. ViTaL achieves around 90% success on contact-rich tasks in unseen environments and is robust to distractors. ViTaL's effectiveness stems from three key insights: (1) foundation models for segmentation enable training robust visual encoders via behavior cloning; (2) these encoders improve the generalizability of policies learned using residual RL; and (3) tactile sensing significantly boosts performance in contact-rich tasks. Ablation studies validate each of these insights, and we demonstrate that ViTaL integrates well with high-level VLMs, enabling robust, reusable low-level skills. Results and videos are available at https://vitalprecise.github.io.

arXivで原文を読む →arXiv概要ページ

触覚は視覚の終わるところから始まる：接触を伴う操作のための汎化可能な方策

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell