rt-RISeg: 実時間モデルフリーなロボット対話型セグメンテーションによる能動的インスタンスレベル物体理解
rt-RISeg: Real-Time Model-Free Robot Interactive Segmentation for Active Instance-Level Object Understanding
ロボットが物体を操作する際の身体フレーム不変特徴を利用し、学習済みモデルなしで未知物体を実時間でセグメンテーションする対話型知覚フレームワークを提案。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Howard H. Qian, Yiting Chen, Gaotian Wang, Podshara Chanrungmaneekul, Kaiyu Hang
分類: cs.RO, cs.CV
原文アブストラクト
Successful execution of dexterous robotic manipulation tasks in new environments, such as grasping, depends on the ability to proficiently segment unseen objects from the background and other objects. Previous works in unseen object instance segmentation (UOIS) train models on large-scale datasets, which often leads to overfitting on static visual features. This dependency results in poor generalization performance when confronted with out-of-distribution scenarios. To address this limitation, we rethink the task of UOIS based on the principle that vision is inherently interactive and occurs over time. We propose a novel real-time interactive perception framework, rt-RISeg, that continuously segments unseen objects by robot interactions and analysis of a designed body frame-invariant feature (BFIF). We demonstrate that the relative rotational and linear velocities of randomly sampled body frames, resulting from selected robot interactions, can be used to identify objects without any learned segmentation model. This fully self-contained segmentation pipeline generates and updates object segmentation masks throughout each robot interaction without the need to wait for an action to finish. We showcase the effectiveness of our proposed interactive perception method by achieving an average object segmentation accuracy rate 27.5% greater than state-of-the-art UOIS methods. Furthermore, although rt-RISeg is a standalone framework, we show that the autonomously generated segmentation masks can be used as prompts to vision foundation models for significantly improved performance.
関連論文
- 私のマグカップはどこ?個人化画像セグメンテーションのための学習不要フレームワークセグメンテーション
- OWL関数によるカメラ運動下での移動物体セグメンテーションセグメンテーション
- KiRoSe: ロボット実演の効率的なセグメンテーションのための運動学データ活用セグメンテーション
- 適応すべき時: オープンボキャブラリセグメンテーションにおける効率的な訓練不要適応のためのマルチシグナルドメインシフト検出セグメンテーション
- SAM-V: マルチビューインスタンスセグメンテーションのための幾何認識型Segment Anythingセグメンテーション
- DropClick: 農業ロボットデータのための半自動ワンクリックセグメンテーションセグメンテーション
