日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2603.00500

3Dガウススプラッティング強化マルチモーダル検索拡張生成によるゼロショットロボット操作

Zero-Shot Robotic Manipulation via 3D Gaussian Splatting-Enhanced Multimodal Retrieval-Augmented Generation

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作のゼロショット汎化を改善するため、3Dガウススプラッティングとマルチモーダル検索拡張生成を組み合わせたフレームワークを提案し、物体の姿勢推定精度を向上させた。

詳しい要約

1. どんなもの?

- ゼロショットロボットマニピュレーションのためのRobMRAGを提案 - 3D Gaussian Splattingを強化したMultimodal Retrieval-Augmented Generation (MRAG)フレームワーク - 未見物体やタスクへの汎化と解釈性を目指す - 多ソースのマニピュレーション知識ベースを構築 - 階層的マルチモーダル検索と3D-aware Pose Refinementを統合

2. 先行研究と比べてどこがすごい?

- 既存のend-to-end手法はデータ不足と解釈性の低さから未見物体・タスクへの汎化が困難 - MLLMは常識推論に強いが幾何・空間理解とpose予測が苦手 - 提案手法はゼロショット設定で最高性能のベースラインを7.76%上回る - 教師ありの最先端ベースラインも6.54%上回る - 高レベル意味推論と低レベル幾何実行のギャップを橋渡し

3. 技術・手法の肝は?

- 多ソース知識ベース:物体接触フレーム、タスク完了フレーム、poseパラメータを含む - 階層的マルチモーダル検索:3優先度ハイブリッド検索戦略でタスク関連物体プロトタイプを探索 - ピクセルレベル類似度とInstance Matching Distance (IMD)に基づき幾何的に最近い参照例を選択 - 3D-Aware Pose Refinement:3D Gaussian Splattingで参照物体のposeをターゲット物体に3D空間で整列 - 整列結果を画像平面に再投影しMLLM入力として最終poseパラメータ生成を強化

4. どうやって有効だと検証した?

- 30カテゴリの家庭用物体を含むテストセットで実験 - 同一設定下で最高性能のゼロショットベースラインと比較し成功率7.76%向上 - 最先端の教師ありベースラインと比較し6.54%向上 - 結果からRobMRAGが未見物体への汎化と解釈性を両立することを検証

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:end-to-endロボットマニピュレーション手法、Multimodal Large Language Models (MLLMs)、ゼロショットベースライン、教師ありベースライン - 関連手法:3D Gaussian Splatting、Retrieval-Augmented Generation (RAG)、Multimodal Retrieval-Augmented Generation (MRAG)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zilong Xie, Jingyu Gong, Xin Tan, Zhizhong Zhang, Yuan Xie

分類: cs.RO

原文アブストラクト

Existing end-to-end approaches of robotic manipulation often lack generalization to unseen objects or tasks due to limited data and poor interpretability. While recent Multimodal Large Language Models (MLLMs) demonstrate strong commonsense reasoning, they struggle with geometric and spatial understanding required for pose prediction. In this paper, we propose RobMRAG, a 3D Gaussian Splatting-Enhanced Multimodal Retrieval-Augmented Generation (MRAG) framework for zero-shot robotic manipulation. Specifically, we construct a multi-source manipulation knowledge base containing object contact frames, task completion frames, and pose parameters. During inference, a Hierarchical Multimodal Retrieval module first employs a three-priority hybrid retrieval strategy to find task-relevant object prototypes, then selects the geometrically closest reference example based on pixel-level similarity and Instance Matching Distance (IMD). We further introduce a 3D-Aware Pose Refinement module based on 3D Gaussian Splatting into the MRAG framework, which aligns the pose of the reference object to the target object in 3D space. The aligned results are reprojected onto the image plane and used as input to the MLLM to enhance the generation of the final pose parameters. Extensive experiments show that on a test set containing 30 categories of household objects, our method improves the success rate by 7.76% compared to the best-performing zero-shot baseline under the same setting, and by 6.54% compared to the state-of-the-art supervised baseline. Our results validate that RobMRAG effectively bridges the gap between high-level semantic reasoning and low-level geometric execution, enabling robotic systems that generalize to unseen objects while remaining inherently interpretable.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI