日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セグメンテーションarXiv:2511.22950

RobotSeg: 画像と動画におけるロボットセグメンテーションの基盤モデルとデータセット

RobotSeg: A Model and Dataset for Segmenting Robots in Image and Video

シェア:XThreadsFacebookLINEはてブBluesky

SAM 2を改良し、構造認識型メモリと自動プロンプト生成、ラベル効率の良い学習でロボットの画像・動画セグメンテーションを高精度化した基盤モデルと大規模データセットを提案。

詳しい要約

1. どんなもの?

- 画像・動画中のロボットを高精度にセグメンテーションするための基盤モデル RobotSeg と、その学習用データセット VRS を提案する研究。 - RobotSeg は SAM 2 をベースに構築され、ロボット特有の課題(embodiment の多様性、外観の曖昧さ、構造的複雑さ、形状の急変)に対処する。 - VRS は 2.8k 本以上の動画(138k フレーム)を含み、多様なロボット embodiment と環境をカバーする。 - 画像・動画の両方で state-of-the-art 性能を達成したと報告。

2. 先行研究と比べてどこがすごい?

- 現代のセグメンテーションモデルでもロボットのセグメンテーションは困難であり、本手法はこの課題に正面から取り組む。 - ベースの SAM 2 に対し、articulated robot への適応不足、手動 prompt への依存、フレーム毎の学習用 mask 注釈の必要性という 3 つの限界を指摘し改善。 - 構造認識・自動化・ラベル効率を同時に実現する点が従来との差分。 - 具体的な比較対象の数値は要旨からは不明。

3. 技術・手法の肝は?

- ベースは SAM 2 foundation model。 - structure-enhanced memory associator:articulated robot の構造を考慮した記憶・関連付け機構。 - robot prompt generator:手動 prompt を不要にする自動 prompt 生成。 - label-efficient training strategy:フレーム毎の mask 注釈依存を減らす学習戦略。 - これらにより structure-aware・automatic・label-efficient なセグメンテーションを実現。

4. どうやって有効だと検証した?

- 構築した VRS データセット(2.8k 本以上の動画、138k フレーム、多様な embodiment と環境)を用いて評価。 - 画像・動画の両方で state-of-the-art 性能を達成したと報告。 - 具体的な評価指標・比較手法・アブレーションの詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、articulated robot の構造変化への頑健性、prompt 生成の失敗時の挙動、ラベル効率化に伴う精度 trade-off、VRS の embodiment カバレッジの偏りなどが考えられるが、本文の記述は要旨からは不明。

6. 次に読むべき論文は?

- SAM 2(本手法のベース foundation model) - VLA systems における visual servoing 関連研究(要旨で応用先として言及) - robot-centric data augmentation および real-to-sim transfer に関する研究 - 動画セグメンテーションの定番手法(例:SAM 系、Mask2Former 系などの video segmentation 研究)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haiyang Mei, Qiming Huang, Hai Ci, Mike Zheng Shou

分類: cs.CV, cs.RO

原文アブストラクト

Accurate robot segmentation is a fundamental capability for robotic perception. It enables precise visual servoing for VLA systems, scalable robot-centric data augmentation, accurate real-to-sim transfer, and reliable safety monitoring in dynamic human-robot environments. Despite the strong capabilities of modern segmentation models, surprisingly it remains challenging to segment robots. This is due to robot embodiment diversity, appearance ambiguity, structural complexity, and rapid shape changes. Embracing these challenges, we introduce RobotSeg, a foundation model for robot segmentation in image and video. RobotSeg is built upon the versatile SAM 2 foundation model but addresses its three limitations for robot segmentation, namely the lack of adaptation to articulated robots, reliance on manual prompts, and the need for per-frame training mask annotations, by introducing a structure-enhanced memory associator, a robot prompt generator, and a label-efficient training strategy. These innovations collectively enable a structure-aware, automatic, and label-efficient solution. We further construct the video robot segmentation (VRS) dataset comprising over 2.8k videos (138k frames) with diverse robot embodiments and environments. Extensive experiments demonstrate that RobotSeg achieves state-of-the-art performance on both images and videos, establishing a strong foundation for future advances in robot perception.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI