日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セグメンテーションarXiv:2507.10776

rt-RISeg: 実時間モデルフリーなロボット対話型セグメンテーションによる能動的インスタンスレベル物体理解

rt-RISeg: Real-Time Model-Free Robot Interactive Segmentation for Active Instance-Level Object Understanding

シェア:XThreadsFacebookLINEはてブBluesky

ロボットが物体を操作する際の身体フレーム不変特徴を利用し、学習済みモデルなしで未知物体を実時間でセグメンテーションする対話型知覚フレームワークを提案。

詳しい要約

1. どんなもの?

- 新環境での把持等の dexterous robotic manipulation のため、未見物体を背景や他物体から segment する UOIS (unseen object instance segmentation) を対象とした研究 - 視覚は本質的に interactive で時間方向に生じるという原理に基づく real-time interactive perception framework「rt-RISeg」を提案 - robot interactions と設計した body frame-invariant feature (BFIF) の解析により未見物体を連続的に segment - 学習済み segmentation model を一切用いない fully self-contained な segmentation pipeline - 各 robot interaction 中に action 完了を待たず object segmentation mask を生成・更新

2. 先行研究と比べてどこがすごい?

- 従来の UOIS は大規模 dataset で model を学習し、static visual features に過学習しがちで out-of-distribution 場面の汎化性能が低いという問題があった - rt-RISeg は学習済み segmentation model を不要とし、robot interaction 由来の運動情報と BFIF で物体を識別する点が異なる - 平均 object segmentation accuracy で state-of-the-art の UOIS 手法より 27.5% 高い性能を達成 - 単独 framework でありながら、自律生成した mask を vision foundation models への prompt に使うと性能が大幅に向上することも示した

3. 技術・手法の肝は?

- robot interactions により生じる、ランダムにサンプルした body frames の相対的な rotational velocity と linear velocity を解析 - 設計した body frame-invariant feature (BFIF) に基づき、学習済み model なしで物体を識別 - 各 robot interaction を通じて segmentation mask を生成・更新する fully self-contained な pipeline - action の完了を待たずに mask を更新する real-time 性が特徴 - 生成した mask は vision foundation models への prompt としても利用可能

4. どうやって有効だと検証した?

- 提案する interactive perception 手法の有効性を state-of-the-art の UOIS 手法との比較で示した - 平均 object segmentation accuracy rate が state-of-the-art UOIS 手法より 27.5% 高いことを報告 - 自律生成した segmentation mask を vision foundation models の prompt に用いると性能が大幅に向上することを示した - 具体的な dataset・実験設定の詳細は要旨からは不明

5. 議論はある?

- 学習済み segmentation model への依存と static visual features への過学習が汎化性能を損なうという問題意識を提示 - 視覚を interactive かつ時間発展するものとして捉え直す立場を取る - 学習なしの standalone framework でありながら vision foundation models の prompt としても有用である点を議論 - 限界・失敗事例・計算コスト等の詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として言及される state-of-the-art の UOIS 手法(UOIS 分野の代表的手法) - 要旨で prompt 先として言及される vision foundation models(例: SAM 系の segmentation foundation model) - 関連手法として interactive perception や active perception に関する研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Howard H. Qian, Yiting Chen, Gaotian Wang, Podshara Chanrungmaneekul, Kaiyu Hang

分類: cs.RO, cs.CV

原文アブストラクト

Successful execution of dexterous robotic manipulation tasks in new environments, such as grasping, depends on the ability to proficiently segment unseen objects from the background and other objects. Previous works in unseen object instance segmentation (UOIS) train models on large-scale datasets, which often leads to overfitting on static visual features. This dependency results in poor generalization performance when confronted with out-of-distribution scenarios. To address this limitation, we rethink the task of UOIS based on the principle that vision is inherently interactive and occurs over time. We propose a novel real-time interactive perception framework, rt-RISeg, that continuously segments unseen objects by robot interactions and analysis of a designed body frame-invariant feature (BFIF). We demonstrate that the relative rotational and linear velocities of randomly sampled body frames, resulting from selected robot interactions, can be used to identify objects without any learned segmentation model. This fully self-contained segmentation pipeline generates and updates object segmentation masks throughout each robot interaction without the need to wait for an action to finish. We showcase the effectiveness of our proposed interactive perception method by achieving an average object segmentation accuracy rate 27.5% greater than state-of-the-art UOIS methods. Furthermore, although rt-RISeg is a standalone framework, we show that the autonomously generated segmentation masks can be used as prompts to vision foundation models for significantly improved performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI