日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.02688

検索拡張ロボット:検索・推論・行動のループによる実現

Retrieval-Augmented Robots via Retrieve-Reason-Act

シェア:XThreadsFacebookLINEはてブBluesky

ロボットが外部の視覚マニュアルを能動的に検索し、2D図面を3D部品に対応付けて実行可能な計画を生成する「検索拡張ロボティクス」というパラダイムを提案し、長期的組み立てタスクで有効性を示した論文。

詳しい要約

1. どんなもの?

- ロボットが受動的な実行者から能動的な情報検索ユーザーへと進化する必要性を主張 - ゼロショット設定で、複雑な家具キットの組み立て手順など、内部知識や過去の記憶では対応できない情報ギャップを解決 - 外部の非構造化ドキュメントから未見の手順知識を取得するRetrieval-Augmented Robotics (RAR) パラダイムを定義 - 視覚的ドキュメントと物理的行動のギャップを橋渡しする情報探索能力をロボットに付与 - タスク実行をRetrieve-Reason-Actループとして定式化

2. 先行研究と比べてどこがすごい?

- 従来のロボット研究は、過去の運動軌道の検索(内部記憶の検索に類似)やテキストベースの安全ルールの検索(制約の検索)に焦点 - これらのアプローチは、能動的なタスク構築の核心的な情報ニーズ(外部の非構造化ドキュメントから未見の手順知識を取得すること)に対応できていない - 本研究は、視覚的ドキュメントを基にしたロボット計画立案が、ゼロショット推論や少数ショット例検索に頼るベースラインを大幅に上回ることを実証

3. 技術・手法の肝は?

- タスク実行をRetrieve-Reason-Actの反復ループとして定式化 - ロボットまたは身体化エージェントが非構造化コーパスから関連する視覚的手順マニュアルを能動的に検索 - クロスモーダルアラインメントにより、抽象的な2D図を3D物理部品にグラウンディング - 実行可能な計画を合成

4. どうやって有効だと検証した?

- 挑戦的な長期的組み立てベンチマークでパラダイムを検証 - 検索された視覚的ドキュメントに基づくロボット計画立案が、ゼロショット推論や少数ショット例検索に頼るベースラインを大幅に上回ることを実験で示した

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:過去の運動軌道を検索するロボット研究、テキストベースの安全ルールを検索する研究、ゼロショット推論ベースライン、少数ショット例検索ベースライン - 同分野の定番:Retrieval-Augmented Generation (RAG)、Vision-Language Models (VLMs)、Embodied AI

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Izat Temiraliev, Diji Yang, Yi Zhang

分類: cs.AI, cs.RO

原文アブストラクト

To achieve general-purpose utility, we argue that robots must evolve from passive executors into active Information Retrieval users. In strictly zero-shot settings where no prior demonstrations exist, robots face a critical information gap, such as the exact sequence required to assemble a complex furniture kit, that cannot be satisfied by internal parametric knowledge (common sense) or past internal memory. While recent robotic works attempt to use search before action, they primarily focus on retrieving past kinematic trajectories (analogous to searching internal memory) or text-based safety rules (searching for constraints). These approaches fail to address the core information need of active task construction: acquiring unseen procedural knowledge from external, unstructured documentation. In this paper, we define the paradigm as Retrieval-Augmented Robotics (RAR), empowering the robot with the information-seeking capability that bridges the gap between visual documentation and physical actuation. We formulate the task execution as an iterative Retrieve-Reason-Act loop: the robot or embodied agent actively retrieves relevant visual procedural manuals from an unstructured corpus, grounds the abstract 2D diagrams to 3D physical parts via cross-modal alignment, and synthesizes executable plans. We validate this paradigm on a challenging long-horizon assembly benchmark. Our experiments demonstrate that grounding robotic planning in retrieved visual documents significantly outperforms baselines relying on zero-shot reasoning or few-shot example retrieval. This work establishes the basis of RAR, extending the scope of Information Retrieval from answering user queries to driving embodied physical actions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI