マルチモーダル基盤モデルと最適輸送ポリゴンマッチングによるオープン語彙操作指示からの物体セグメンテーション
Object Segmentation from Open-Vocabulary Manipulation Instructions Based on Optimal Transport Polygon Matching with Multimodal Foundation Models
家庭用サービスロボットへのオープン語彙な操作指示から対象物体のセグメンテーションマスクを生成する手法を提案し、頂点順序の違いを最適輸送で扱う損失関数と新データセットで有効性を示した。
著者: Takayuki Nishimura, Katsuyuki Kuyo, Motonari Kambara, Komei Sugiura
分類: cs.RO, cs.CV
原文アブストラクト
We consider the task of generating segmentation masks for the target object from an object manipulation instruction, which allows users to give open vocabulary instructions to domestic service robots. Conventional segmentation generation approaches often fail to account for objects outside the camera's field of view and cases in which the order of vertices differs but still represents the same polygon, which leads to erroneous mask generation. In this study, we propose a novel method that generates segmentation masks from open vocabulary instructions. We implement a novel loss function using optimal transport to prevent significant loss where the order of vertices differs but still represents the same polygon. To evaluate our approach, we constructed a new dataset based on the REVERIE dataset and Matterport3D dataset. The results demonstrated the effectiveness of the proposed method compared with existing mask generation methods. Remarkably, our best model achieved a +16.32% improvement on the dataset compared with a representative polygon-based method.
関連論文
- 私のマグカップはどこ?個人化画像セグメンテーションのための学習不要フレームワークセグメンテーション
- OWL関数によるカメラ運動下での移動物体セグメンテーションセグメンテーション
- KiRoSe: ロボット実演の効率的なセグメンテーションのための運動学データ活用セグメンテーション
- 適応すべき時: オープンボキャブラリセグメンテーションにおける効率的な訓練不要適応のためのマルチシグナルドメインシフト検出セグメンテーション
- SAM-V: マルチビューインスタンスセグメンテーションのための幾何認識型Segment Anythingセグメンテーション
- DropClick: 農業ロボットデータのための半自動ワンクリックセグメンテーションセグメンテーション
