日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2602.18374

ゼロショット対話型知覚

Zero-shot Interactive Perception

シェア:XThreadsFacebookLINEはてブBluesky

VLMとメモリを活用し、押し・把持などの物理的相互作用を通じて隠れた情報を取得するゼロショット対話型知覚フレームワークを提案。

詳しい要約

1. どんなもの?

- 対話型知覚(Interactive Perception, IP)をゼロショットで実現するフレームワーク「Zero-Shot IP (ZS-IP)」を提案。 - ロボットが物体と物理的に相互作用し、隠れた情報を抽出して操作計画を実行する。 - 多戦略操作(押す・掴む)と記憶駆動型Vision Language Model (VLM)を組み合わせ、意味的クエリを解決する。 - 7-DOF Franka Pandaアームを用いて、遮蔽やタスク複雑性が異なる多様なシーンで評価。

2. 先行研究と比べてどこがすごい?

- 受動的知覚や視点ベースの知覚手法(例:Mark-Based Visual Prompting (MOKA))よりも優れた性能を発揮。 - 特に押すタスクにおいて、グリッドベースの拡張(pick-and-place向け)と異なり、接触を伴う行動のアフォーダンスを捉えるpushlinesを導入。 - 非対象要素の完全性を保ちながら、押すタスクの性能を大幅に向上。

3. 技術・手法の肝は?

- 3つの主要コンポーネントを統合: - Enhanced Observation (EO)モジュール:VLMの視覚知覚を従来のキーポイントと新提案のpushlines(押す行動に特化した2D視覚拡張)で強化。 - 記憶誘導行動モジュール:コンテキストルックアップを通じて意味的推論を強化。 - ロボットコントローラ:VLM出力に基づき、押す・引く・掴むを実行。 - pushlinesは接触リッチな行動のアフォーダンスを捉え、押す性能を大幅に改善。

4. どうやって有効だと検証した?

- 7-DOF Franka Pandaアームを使用し、遮蔽やタスク複雑性が異なる多様なシーンでZS-IPを評価。 - 実験により、ZS-IPが受動的および視点ベースの知覚手法(MOKAなど)を上回ることを実証。 - 特に押すタスクにおいて優位性を示し、非対象要素の完全性を維持。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Mark-Based Visual Prompting (MOKA) - グリッドベース拡張(pick-and-place向け) - 対話型知覚(Interactive Perception) - Vision Language Model (VLM) を用いたロボット操作

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Venkatesh Sripada, Frank Guerin, Amir Ghalamzan

分類: cs.RO, cs.AI

原文アブストラクト

Interactive perception (IP) enables robots to extract hidden information in their workspace and execute manipulation plans by physically interacting with objects and altering the state of the environment -- crucial for resolving occlusions and ambiguity in complex, partially observable scenarios. We present Zero-Shot IP (ZS-IP), a novel framework that couples multi-strategy manipulation (pushing and grasping) with a memory-driven Vision Language Model (VLM) to guide robotic interactions and resolve semantic queries. ZS-IP integrates three key components: (1) an Enhanced Observation (EO) module that augments the VLM's visual perception with both conventional keypoints and our proposed pushlines -- a novel 2D visual augmentation tailored to pushing actions, (2) a memory-guided action module that reinforces semantic reasoning through context lookup, and (3) a robotic controller that executes pushing, pulling, or grasping based on VLM output. Unlike grid-based augmentations optimized for pick-and-place, pushlines capture affordances for contact-rich actions, substantially improving pushing performance. We evaluate ZS-IP on a 7-DOF Franka Panda arm across diverse scenes with varying occlusions and task complexities. Our experiments demonstrate that ZS-IP outperforms passive and viewpoint-based perception techniques such as Mark-Based Visual Prompting (MOKA), particularly in pushing tasks, while preserving the integrity of non-target elements.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI