日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作/軌道予測arXiv:2605.20085

空間プロンプトを用いたエゴセントリック操作の視覚軌道予測

Spatially Prompted Visual Trajectory Prediction for Egocentric Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作のタスク指示を空間的なプロンプト(バウンディングボックスや点)で行う新しい設定を提案し、エゴセントリック映像から将来のエンドエフェクタ軌道を予測する手法を開発した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのタスク指定を、言語指示やタスクIDではなく、空間プロンプト(bounding boxや点)で行う新しい問題設定「Spatially Prompted Visual Trajectory Prediction (SP-VTP)」を提案。 - 一人称視点(egocentric)の映像から、初期の空間プロンプトで指定された物体と目標位置に基づき、将来のend-effector軌道を予測する。 - この問題を研究するため、EgoSPTデータセットを収集・注釈。一人称視点の空間プロンプト付きマニピュレーション軌道、初フレームの物体・目標grounding注釈、復元された3D end-effector運動を含む。 - 解決手法としてSPOT (Spatially Prompted Object-Target Policy)を提案。タスクエンコーダ(初フレームの視覚・座標空間プロンプト)、観測エンコーダ(現在の視覚・履歴コンテキスト)、軌道生成器(将来のend-effector運動)を組み合わせる。

2. 先行研究と比べてどこがすごい?

- 従来の言語指示やタスクIDによる指定と異なり、空間プロンプト(bounding boxや点)で物体と目標位置を直接指定する点が新しい。 - clutter環境で類似物体が多い場合に、言語より空間指定が有効であるという視点。 - 著者らの知る限り、SP-VTPを初めて形式化し、EgoSPTデータセットとSPOT手法を提案。 - 厳密なシーンレベル分割の実験で、プロンプトなしや単一ソースプロンプトのベースラインよりクロスシーン軌道予測が改善。

3. 技術・手法の肝は?

- SPOTは3つのコンポーネントから成る: - タスクエンコーダ:初フレームの視覚情報と座標空間プロンプトを処理。 - 観測エンコーダ:現在の視覚情報と履歴コンテキストを処理。 - 軌道生成器:将来のend-effector運動を生成。 - タスク指定が静的である一方、シーン構成が時間とともに変化するという課題に対処。 - 空間プロンプト(bounding boxや点)を初期フレームで与え、一人称視点の映像から軌道を予測。

4. どうやって有効だと検証した?

- EgoSPTデータセットを収集・注釈し、初フレームの物体・目標grounding注釈と復元された3D end-effector運動を提供。 - 厳密なシーンレベル分割(strict scene-level splits)の下で実験。 - SPOTがプロンプトなしや単一ソースプロンプトのベースラインと比較して、クロスシーン軌道予測を改善することを示した。

5. 議論はある?

- SP-VTPは、タスク指定が静的である一方でシーン構成が時間とともに変化するため困難であると指摘。 - EgoSPTとSPOTが、一人称視点マニピュレーションのためのシンプルでスケーラブルなタスク条件として、新しい空間プロンプティング問題SP-VTPを確立すると主張。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:プロンプトなしベースライン、単一ソースプロンプトベースライン。 - 関連手法:言語指示やタスクIDによるタスク指定、end-effector軌道予測、一人称視点マニピュレーション。 - 同分野の定番:Visual Trajectory Prediction、Imitation Learning、Vision-Language-Actionモデル。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifan Li, Xinyu Zhou, Yunhao Ge, Yu Kong

分類: cs.CV

原文アブストラクト

Robotic manipulation is often specified through language instructions or task identifiers, yet cluttered environments with similar objects are better handled by spatially indicating what to move and where to place it. Addressing the vision-centric challenge of object and goal specification, we present, to the best of our knowledge, the first formalization of Spatially Prompted Visual Trajectory Prediction (SP-VTP). This novel setting utilizes initial spatial prompts (like bounding boxes or points) to define task objectives, tasking the model with forecasting future end-effector trajectories from egocentric streams. To study this problem, we collect and annotate EgoSPT, a dataset of egocentric spatially prompted manipulation trajectories with first-frame object and target grounding annotations and recovered 3D end-effector motion. SP-VTP is challenging because the task specification is static, while the scene configuration evolves over time. To solve this problem, we propose SPOT(Spatially Prompted Object-Target Policy), which combines a task encoder for first-frame visual and coordinate spatial prompts, an observation encoder for current visual and history context, and a trajectory generator for future end-effector motion. Experiments under strict scene-level splits show that SPOT improves cross-scene trajectory prediction over non-prompted or single-source prompted baselines. Together, EgoSPT and SPOT establish a new spatial prompting problem SP-VTP, as a simple and scalable task condition for egocentric manipulation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI