日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2508.20547

SPGrasp: 動的シーンにおける時空間プロンプト駆動型把持合成

SPGrasp: Spatiotemporal Prompt-driven Grasp Synthesis in Dynamic Scenes

シェア:XThreadsFacebookLINEはてブBluesky

動画ストリーム上でユーザープロンプトと時空間文脈を統合し、低遅延かつ時間的一貫性を保った把持姿勢をリアルタイム生成するフレームワークを提案。

詳しい要約

1. どんなもの?

- 動的物体に対するリアルタイム対話型の grasp synthesis フレームワーク「SPGrasp」を提案 - segment anything model v2 (SAMv2) を映像ストリームの grasp 推定へ拡張 - ユーザ prompt と時空間コンテキストを統合し、時間的一貫性を保つ - 動的シーンでの低遅延推論と promptability の両立を狙う

2. 先行研究と比べてどこがすごい?

- 既存手法は低遅延推論と promptability の同時達成が困難 - 先行の promptable 手法 RoG-SAM と比較し、GraspNet-1Billion の連続追跡で per-frame latency を 58.5% 削減 - その際 92.0% accuracy を維持し、精度競争力も確保 - 最小 59 ms の end-to-end latency を実現

3. 技術・手法の肝は?

- SAMv2 を基盤に映像ストリーム向け grasp 推定へ拡張 - 中核は user prompt と spatiotemporal context の統合 - 動的物体に対し temporal consistency を担保する設計 - 詳細なアーキテクチャは要旨からは不明

4. どうやって有効だと検証した?

- benchmark 評価で instance-level grasp accuracy 90.6% (OCID)、93.8% (Jacquard) - GraspNet-1Billion の連続追跡で 92.0% accuracy、73.1 ms/frame - 実世界実験で 13 個の移動物体を対象に 94.8% の interactive grasping 成功率 - これらの結果で latency-interactivity trade-off の解決を確認

5. 議論はある?

- 低遅延と promptability の両立を実証したと主張 - 精度・遅延・実機成功率の面で有効性を示す - 限界や失敗事例、汎化性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- RoG-SAM (比較対象の prior state-of-the-art promptable method) - segment anything model v2 (SAMv2) - OCID、Jacquard、GraspNet-1Billion の各 benchmark 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunpeng Mei, Hongjie Cao, Yinqiu Xia, Wei Xiao, Zhaohan Feng, Gang Wang, Jie Chen

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Real-time interactive grasp synthesis for dynamic objects remains challenging as existing methods fail to achieve low-latency inference while maintaining promptability. To bridge this gap, we propose SPGrasp (spatiotemporal prompt-driven dynamic grasp synthesis), a novel framework extending segment anything model v2 (SAMv2) for video stream grasp estimation. Our core innovation integrates user prompts with spatiotemporal context, enabling real-time interaction with end-to-end latency as low as 59 ms while ensuring temporal consistency for dynamic objects. In benchmark evaluations, SPGrasp achieves instance-level grasp accuracies of 90.6% on OCID and 93.8% on Jacquard. On the challenging GraspNet-1Billion dataset under continuous tracking, SPGrasp achieves 92.0% accuracy with 73.1 ms per-frame latency, representing a 58.5% reduction compared to the prior state-of-the-art promptable method RoG-SAM while maintaining competitive accuracy. Real-world experiments involving 13 moving objects demonstrate a 94.8% success rate in interactive grasping scenarios. These results confirm SPGrasp effectively resolves the latency-interactivity trade-off in dynamic grasp synthesis.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI