日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D認識arXiv:2602.10943

2D観測から汎化可能な3Dシーン表現を学習する手法

Towards Learning a Generalizable 3D Scene Representation from 2D Observations

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの視点画像から作業空間の3D占有を予測する汎化可能なNeRFを提案し、ヒューマノイドで26mmの精度を達成した。

詳しい要約

1. どんなもの?

- 2D観測から3Dシーン表現を学習するGeneralizable Neural Radiance Field手法を提案。 - ロボットのegocentric観測から3D workspace occupancyを予測。 - 従来のcamera-centric座標ではなくglobal workspace frameでoccupancyを構築。 - ロボットマニピュレーションに直接適用可能。 - 柔軟なsource viewsを統合し、シーン固有のfinetuningなしで未見の物体配置に汎化。 - humanoid robotで実証し、3D sensor ground truthと比較。 - 40 real scenesで訓練し、occluded領域を含め26mmの再構成誤差を達成。

2. 先行研究と比べてどこがすごい?

- 従来手法はcamera-centric座標で動作するが、本手法はglobal workspace frameでoccupancy表現を構築。 - これによりロボットマニピュレーションに直接適用可能。 - シーン固有のfinetuningなしで未見の物体配置に汎化。 - 従来のstereo vision手法を超え、occluded領域を含む完全な3D occupancyを推論可能。 - 具体的な先行研究名は要旨からは不明。

3. 技術・手法の肝は?

- Generalizable Neural Radiance Fieldアプローチを採用。 - egocentric robot observationsから3D workspace occupancyを予測。 - global workspace frameでoccupancy表現を構築。 - 柔軟なsource viewsを統合。 - シーン固有のfinetuningを必要としない。 - 詳細なネットワーク構造や学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- humanoid robotで実証。 - 予測されたgeometryを3D sensor ground truthと比較。 - 40 real scenesで訓練。 - occluded領域を含め26mmの再構成誤差を達成。 - 従来のstereo vision手法を超える完全な3D occupancy推論能力を検証。

5. 議論はある?

- 要旨からは不明。 - 限界や議論点についての記述はない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてNeural Radiance Field (NeRF)、Generalizable Neural Radiance Field、stereo vision、3D occupancy predictionが挙げられる。 - 同分野の定番としてNeRF、Neural Radiance Fields for robotics、3D scene reconstruction from 2D observationsなどが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Martin Gromniak, Jan-Gerrit Habekost, Sebastian Kamp, Sven Magg, Stefan Wermter

分類: cs.CV, cs.RO

原文アブストラクト

We introduce a Generalizable Neural Radiance Field approach for predicting 3D workspace occupancy from egocentric robot observations. Unlike prior methods operating in camera-centric coordinates, our model constructs occupancy representations in a global workspace frame, making it directly applicable to robotic manipulation. The model integrates flexible source views and generalizes to unseen object arrangements without scene-specific finetuning. We demonstrate the approach on a humanoid robot and evaluate predicted geometry against 3D sensor ground truth. Trained on 40 real scenes, our model achieves 26mm reconstruction error, including occluded regions, validating its ability to infer complete 3D occupancy beyond traditional stereo vision methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI