日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

シーン表現/不確かさ推定arXiv:2510.06754

UniFField: 任意のシーンにおける視覚・意味・空間の不確かさを統合する汎用ニューラル特徴場

UniFField: A Generalizable Unified Neural Feature Field for Visual, Semantic, and Spatial Uncertainties in Any Scene

シェア:XThreadsFacebookLINEはてブBluesky

RGB-D画像から視覚・意味・幾何特徴を統合し、各モダリティの不確かさも予測する汎用ニューラル特徴場を提案。未知環境にゼロショット適用でき、移動マニピュレータの能動物体探索で頑健な意思決定を実現。

詳しい要約

1. どんなもの?

- UniFFieldは、任意のシーンに対してvisual・semantic・geometricな特徴を単一の汎化可能な表現に統合し、各モダリティのuncertaintyも予測するunified uncertainty-aware neural feature field。 - ロボットが探索しながらRGB-D画像をvoxel-based feature representationに逐次統合し、uncertainty estimationも同時に更新する。 - zero shotで新しい環境に適用可能で、active object searchにmobile manipulator robotで活用。

2. 先行研究と比べてどこがすごい?

- 既存の3D neural feature fieldsはpretrained foundation modelsの特徴をlanguage-guided manipulationやnavigationに活用できるが、(i) scene-specificである、(ii) 予測のuncertaintyをモデル化できないという2つの限界がある。 - UniFFieldは単一の汎化可能な表現でvisual・semantic・geometricを統合し、各モダリティのuncertaintyを予測する点でこれらを克服。 - zero shotで任意の新環境に適用できる点が先行研究と異なる。

3. 技術・手法の肝は?

- voxel-based feature representationにRGB-D画像を逐次統合するincrementalな枠組み。 - visual・semantic・geometric featuresを単一のunified representationに統合。 - 各モダリティのuncertainty estimationを同時に更新・予測する。 - zero shotで新環境に適用可能なgeneralizableな設計。

4. どうやって有効だと検証した?

- uncertainty estimationsがscene reconstructionおよびsemantic feature predictionにおけるmodel prediction errorsを正確に記述することを評価。 - mobile manipulator robotを用いたactive object search taskで、feature predictionsとそれぞれのuncertaintyを活用し、robust decision-makingが可能であることを実証。

5. 議論はある?

- 要旨からは不明。 - ただしuncertaintyがprediction errorsを正確に記述すること、active object searchでのrobust decision-makingへの活用が示されている。

6. 次に読むべき論文は?

- 要旨からは不明(具体的な参照論文の記載なし)。 - 関連手法として3D neural feature fields、pretrained foundation models、language-guided manipulation、navigation、active object searchなどが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Christian Maurer, Snehal Jauhri, Sophie Lueth, Georgia Chalvatzaki

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Comprehensive visual, geometric, and semantic understanding of a 3D scene is crucial for successful execution of robotic tasks, especially in unstructured and complex environments. Additionally, to make robust decisions, it is necessary for the robot to evaluate the reliability of perceived information. While recent advances in 3D neural feature fields have enabled robots to leverage features from pretrained foundation models for tasks such as language-guided manipulation and navigation, existing methods suffer from two critical limitations: (i) they are typically scene-specific, and (ii) they lack the ability to model uncertainty in their predictions. We present UniFField, a unified uncertainty-aware neural feature field that combines visual, semantic, and geometric features in a single generalizable representation while also predicting uncertainty in each modality. Our approach, which can be applied zero shot to any new environment, incrementally integrates RGB-D images into our voxel-based feature representation as the robot explores the scene, simultaneously updating uncertainty estimation. We evaluate our uncertainty estimations to accurately describe the model prediction errors in scene reconstruction and semantic feature prediction. Furthermore, we successfully leverage our feature predictions and their respective uncertainty for an active object search task using a mobile manipulator robot, demonstrating the capability for robust decision-making.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI