日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

把持arXiv:2602.05029

ゼロショットシーン再構成とロボット把持のための微分可能逆グラフィックス

Differentiable Inverse Graphics for Zero-shot Scene Reconstruction and Robot Grasping

シェア:XThreadsFacebookLINEはてブBluesky

単一のRGBD画像とバウンディングボックスから、物理的に整合性のあるシーンパラメータを推定し、ゼロショットでシーン再構成とロボット把持を実現する微分可能ニューログラフィックスモデルを提案。

詳しい要約

1. どんなもの?

- 新規環境で未見物体を扱うロボット向けに、単一のRGBD画像とバウンディングボックスからゼロショットでシーン再構成と把持を行う手法を提案。 - differentiable neuro-graphics modelを導入し、neural foundation modelsとphysics-based differentiable renderingを組み合わせる。 - 追加の3Dデータやテスト時サンプルを必要とせず、メッシュ、照明、材質、6D poseを推定。

2. 先行研究と比べてどこがすごい?

- 従来のSOTAは大量の訓練データとテスト時サンプルを用いてブラックボックスなシーン表現を構築。 - 提案手法は追加の3Dデータやテスト時サンプルなしでゼロショット再構成と把持を実現。 - model-free few-shotベンチマークで既存のpose estimationアルゴリズムを上回る性能を示す。

3. 技術・手法の肝は?

- neural foundation modelsとphysics-based differentiable renderingを統合したdifferentiable neuro-graphics model。 - 制約付き最適化問題を解き、物理的に整合するシーンパラメータ(メッシュ、照明、材質、6D pose)を推定。 - 単一のRGBD画像とバウンディングボックスを入力とする。

4. どうやって有効だと検証した?

- 標準的なmodel-free few-shotベンチマークで評価し、既存のpose estimationアルゴリズムを上回ることを示す。 - ゼロショット把持タスクに適用し、シーン再構成の精度を検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法としてmodel-free few-shot pose estimationやdifferentiable renderingの定番(例: NeRF, SDF-based rendering)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Octavio Arriaga, Proneet Sharma, Jichen Guo, Marc Otto, Siddhant Kadwe, Rebecca Adam

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Operating effectively in novel real-world environments requires robotic systems to estimate and interact with previously unseen objects. Current state-of-the-art models address this challenge by using large amounts of training data and test-time samples to build black-box scene representations. In this work, we introduce a differentiable neuro-graphics model that combines neural foundation models with physics-based differentiable rendering to perform zero-shot scene reconstruction and robot grasping without relying on any additional 3D data or test-time samples. Our model solves a series of constrained optimization problems to estimate physically consistent scene parameters, such as meshes, lighting conditions, material properties, and 6D poses of previously unseen objects from a single RGBD image and bounding boxes. We evaluated our approach on standard model-free few-shot benchmarks and demonstrated that it outperforms existing algorithms for model-free few-shot pose estimation. Furthermore, we validated the accuracy of our scene reconstructions by applying our algorithm to a zero-shot grasping task. By enabling zero-shot, physically-consistent scene reconstruction and grasping without reliance on extensive datasets or test-time sampling, our approach offers a pathway towards more data efficient, interpretable and generalizable robot autonomy in novel environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI