視覚運動ポリシー/ロバスト性/拡張現実2025/5/1arXiv:2505.08627

ロボットのための拡張現実（ARRO）：視覚運動ポリシーの視覚的ロバスト性を目指して

Augmented Reality for RObots (ARRO): Pointing Visuomotor Policies Towards Visual Robustness

ARROは、ゼロショットのオープンボキャブラリセグメンテーションと物体検出を用いて、追加学習なしでリアルタイムにタスク無関係領域をマスクし、仮想ガイドを重ねることで、視覚運動ポリシーのシーン変化に対するロバスト性を向上させる手法である。

詳しい要約

1. どんなもの？

- 視覚運動政策(visuomotor policies)の視覚的ロバスト性を高める新規視覚表現ARROを提案する研究。 - 人間の専門家デモで学習した政策は背景やロボット実体(embodiment)の変化によるdomain shiftに弱い。 - ARROはzero-shot open-vocabulary segmentationとobject detectionモデルを活用し、タスク無関係領域をリアルタイムにマスクする。 - 訓練と推論の両方で視覚的distractorを除去し、仮想ガイドを重ね合わせる。 - 追加学習・セットアップモデリング・カメラキャリブレーションを不要とする。

2. 先行研究と比べてどこがすごい？

- 従来の視覚運動政策は背景変化やロボット実体の違いに敏感で汎化が制限されていた。 - ARROは追加学習やカメラキャリブレーションを必要とせずに視覚的distractorを除去できる点が新しい。 - zero-shot open-vocabulary segmentationとobject detectionを組み合わせ、リアルタイムでタスク無関係領域をマスクする。 - 訓練・推論の両方で仮想ガイドを重ねることで、追加データ収集の必要性を低減する。 - 具体的な先行研究名との比較は要旨からは不明。

3. 技術・手法の肝は？

- zero-shot open-vocabulary segmentationとobject detectionモデルを用い、タスク無関係領域をリアルタイムにマスクする視覚表現。 - 追加学習・セットアップモデリング・カメラキャリブレーションを不要とする設計。 - 訓練時と推論時の両方で視覚的distractorをフィルタリングし、仮想ガイドをオーバーレイする。 - 選択的マスキングにより対象物体を切り替え可能。 - セグメンテーションが困難な条件下でもロバスト性を示す。

4. どうやって有効だと検証した？

- Diffusion Policyと組み合わせ、シミュレーションと実世界の卓上マニピュレーションタスクで広く評価。 - 汎用ロボット政策であるOcto、OpenVLA、Pi Zeroとの互換性・有効性も実証。 - すべての設定で一貫した性能向上を確認。 - 選択的マスキングによる物体選択が可能であることを示す。 - 困難なセグメンテーション条件下でもロバスト性を示す。

5. 議論はある？

- 選択的マスキングにより異なる物体を選べる点が議論の対象。 - 困難なセグメンテーション条件下でのロバスト性についても言及。 - 追加データ収集の必要性低減という利点が示唆される。 - 限界や失敗事例、計算コストなどの詳細な議論は要旨からは不明。

6. 次に読むべき論文は？

- Diffusion Policy(ARROの評価に使用された政策) - Octo(互換性を実証した汎用ロボット政策) - OpenVLA(互換性を実証した汎用ロボット政策) - Pi Zero(互換性を実証した汎用ロボット政策) - zero-shot open-vocabulary segmentationおよびobject detectionの関連手法(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Reihaneh Mirjalili, Tobias Jülg, Florian Walter, Wolfram Burgard

分類: cs.RO

原文アブストラクト

Visuomotor policies trained on human expert demonstrations have recently shown strong performance across a wide range of robotic manipulation tasks. However, these policies remain highly sensitive to domain shifts stemming from background or robot embodiment changes, which limits their generalization capabilities. In this paper, we present ARRO, a novel visual representation that leverages zero-shot open-vocabulary segmentation and object detection models to efficiently mask out task-irrelevant regions of the scene in real time without requiring additional training, modeling of the setup, or camera calibration. By filtering visual distractors and overlaying virtual guides during both training and inference, ARRO improves robustness to scene variations and reduces the need for additional data collection. We extensively evaluate ARRO with Diffusion Policy on a range of tabletop manipulation tasks in both simulation and real-world environments, and further demonstrate its compatibility and effectiveness with generalist robot policies, such as Octo, OpenVLA and Pi Zero. Across all settings in our evaluation, ARRO yields consistent performance gains, allows for selective masking to choose between different objects, and shows robustness even to challenging segmentation conditions. Videos showcasing our results are available at: https://augmented-reality-for-robots.github.io/

arXivで原文を読む →arXiv概要ページ

← 論文一覧