日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作arXiv:2607.24538

NEO: 一度NeRF化すれば何度でも編集可能な連続物体操作フレームワーク

NEO: NeRF It Once, Edit It Many Times for Continuous Object Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

言語指示によるNeRF編集をロボット操作に統合し、物体除去や把持配置実験で既存手法より優れた視覚的・幾何的一貫性を実現した。

詳しい要約

1. どんなもの?

NEOは、ロボット操作のための言語誘導型NeRF編集を提供する統一フレームワークである。具体的には、(i)ニューラルフィールドの再サンプリングと多視点一貫性のあるプログレッシブインペインティングを組み合わせた言語誘導の物体除去、(ii)知識蒸留を用いた直接的なNeRF重み編集法(教師-学生モデルによる元のNeRFと編集後のNeRFの合成)により、ロボットが行動を実行する前に将来のシーン状態をコヒーレントにモデル化する、(iii)ロボット操作に適したNeRFシーン編集手法を定量的に評価する最初のベンチマーク(NEO-Dataset)を導入する。

2. 先行研究と比べてどこがすごい?

先行研究と比べて、NEOはロボット操作に特化した言語誘導型NeRF編集を統合した点が優れている。従来のNeRF編集手法は視覚的な品質に焦点を当てることが多く、ロボット操作への応用や将来のシーン状態の予測を考慮していなかった。NEOは、物体除去とピックアンドプレース操作の両方で最先端のベースラインを上回り、視覚的にコヒーレントで幾何学的に一貫した編集を実現し、従来手法で一般的に見られるアーティファクトを低減する。また、ロボット操作のためのNeRF編集を評価する最初のベンチマークを提供する点も新しい。

3. 技術・手法の肝は?

技術の肝は、(i)言語誘導の物体除去では、ニューラルフィールドの再サンプリングと多視点一貫性のあるプログレッシブインペインティングを組み合わせることで、物体を除去した後のシーンの欠落領域を自然に補完する。(ii)直接的なNeRF重み編集では、知識蒸留を用いて教師-学生モデルを構成し、元のNeRFと編集後のNeRFを合成することで、ロボットが行動を実行する前の将来のシーン状態をコヒーレントにモデル化する。これにより、編集がシーン全体の整合性を保ちながら行われる。

4. どうやって有効だと検証した?

有効性の検証は、NEO-Datasetを用いて、物体除去とピックアンドプレースのロボット実験を含むシーン編集タスクで、最先端のベースラインと比較して行われた。結果として、NEOは視覚的にコヒーレントで幾何学的に一貫した編集を実現し、従来手法で一般的に見られるアーティファクトを低減することが示された。

5. 議論はある?

要旨からは、議論の詳細は不明である。ただし、NEOが従来手法のアーティファクトを低減すると述べていることから、編集の品質とロボット操作への適用可能性に関する議論があると考えられる。また、NEO-Datasetが最初のベンチマークであることから、評価基準や比較方法に関する議論も想定されるが、具体的な内容は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている研究は明示されていないが、関連する手法として、NeRF編集(例:言語誘導編集)、知識蒸留、教師-学生モデル、ニューラルフィールドの再サンプリング、プログレッシブインペインティング、ロボット操作のためのシーン表現などが挙げられる。次に読むべき論文としては、NeRF編集の基礎となるNeRF(Neural Radiance Fields)の原著論文や、言語誘導による3Dシーン編集の最近の研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mikołaj Zieliński, David Hall, Dominik Belter, Peyman Moghadam

分類: cs.RO

原文アブストラクト

In this paper, we present NEO, a unified framework providing language-guided NeRF editing for robotic manipulation. Our paper introduces (i) a language-guided object removal that combines neural field resampling with multiview-consistent progressive inpainting, (ii) a direct NeRF weight editing method utilizing knowledge distillation, composing original and edited NeRFs via a teacher-student model, enabling coherent modeling of future scene states before a robot executes an action, and (iii) the first benchmark (NEO-Dataset) for quantitatively evaluating NeRF scene editing methods suitable for robot manipulation. We show that our approach outperforms state-of-the-art baselines in scene editing tasks, including object removal and pick-and-place robotic experiments, yielding visually coherent and geometrically consistent edits that reduce artifacts commonly introduced by prior methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI