日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2512.02609

SAM2Grasp: プロンプト条件付き時系列行動予測によるマルチモーダル把持の解決

SAM2Grasp: Resolve Multi-modal Grasping via Prompt-conditioned Temporal Action Prediction

シェア:XThreadsFacebookLINEはてブBluesky

凍結したSAM2の追跡機能を活用し、プロンプトで対象物体を指定することで、模倣学習のマルチモーダル問題を解消して一意な把持軌道を予測する手法を提案。

詳しい要約

1. どんなもの?

- ロボット把持のための模倣学習フレームワーク「SAM2Grasp」 - 多物体シーンでの multi-modal 問題(複数の把持候補による矛盾した学習信号)を解決する - 把持タスクを uni-modal な prompt-conditioned 予測問題として再定式化 - 映像ストリームから対象物体の把持軌道を連続予測する

2. 先行研究と比べてどこがすごい?

- 標準的な模倣学習 policy は複数の正解行動を平均化し、単一の無効な行動を出力してしまう - SAM2Grasp は prompt で対象を指定することで、その物体専用の一意で曖昧さのない把持軌道を予測 - 時間的追跡により外部ガイダンスなしで対象を維持し、混雑した多物体把持で state-of-the-art を達成

3. 技術・手法の肝は?

- 凍結した SAM2 の強力な visual temporal tracking 能力を活用 - SAM2 の native segmentation head と並列に動作する軽量で学習可能な action head を導入 - SAM2 が事前計算した temporal-visual features 上で小さな action head のみを学習 - 推論時は上流の object detection model が与える bounding box などの初期 prompt で対象を指定 - 以降のフレームは SAM2 の時間追跡が対象を自動維持し、継続的に把持軌道を予測

4. どうやって有効だと検証した?

- 混雑した多物体把持タスクで広範な実験を実施 - state-of-the-art の性能を達成したと報告 - 具体的なデータセット名・評価指標・比較手法は要旨からは不明

5. 議論はある?

- multi-modal 問題を prompt-conditioned な uni-modal 予測に置き換える設計の有効性を主張 - 初期 prompt を上流の object detection model に依存する点が前提 - 限界・失敗ケース・計算コストなどの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- SAM2(Segmentation Anything Model 2) - 模倣学習における multi-modal 問題を扱う既存研究(例:multi-modal imitation learning 関連) - 上流の object detection model(具体名は要旨からは不明) - visual temporal tracking を用いた把持・visuomotor policy の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shengkai Wu, Jinrong Yang, Wenqiu Luo, Linfeng Gao, Chaohui Shang, Meiyu Zhi, Mingshan Sun, Fangping Yang, Liangliang Ren, Yong Zhao

分類: cs.RO, cs.CV

原文アブストラクト

Imitation learning for robotic grasping is often plagued by the multimodal problem: when a scene contains multiple valid targets, demonstrations of grasping different objects create conflicting training signals. Standard imitation learning policies fail by averaging these distinct actions into a single, invalid action. In this paper, we introduce SAM2Grasp, a novel framework that resolves this issue by reformulating the task as a uni-modal, prompt-conditioned prediction problem. Our method leverages the frozen SAM2 model to use its powerful visual temporal tracking capability and introduces a lightweight, trainable action head that operates in parallel with its native segmentation head. This design allows for training only the small action head on pre-computed temporal-visual features from SAM2. During inference, an initial prompt, such as a bounding box provided by an upstream object detection model, designates the specific object to be grasped. This prompt conditions the action head to predict a unique, unambiguous grasp trajectory for that object alone. In all subsequent video frames, SAM2's built-in temporal tracking capability automatically maintains stable tracking of the selected object, enabling our model to continuously predict the grasp trajectory from the video stream without further external guidance. This temporal-prompted approach effectively eliminates ambiguity from the visuomotor policy. We demonstrate through extensive experiments that SAM2Grasp achieves state-of-the-art performance in cluttered, multi-object grasping tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI