日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.11467

新規合成視点での把持生成のための放射輝度場の活用

Exploiting Radiance Fields for Grasp Generation on Novel Synthetic Views

シェア:XThreadsFacebookLINEはてブBluesky

Gaussian Splattingなどの放射輝度場を用いて新規視点画像を合成し、把持姿勢生成の精度とカバレッジを向上させる手法を提案した。

詳しい要約

1. どんなもの?

- 視覚ベースのロボットマニピュレーションにおいて、Gaussian Splatting などの radiance fields を用いて novel view synthesis を行い、grasp pose 生成に活用する研究。 - カメラを追加移動せずに、ユーザ指定の novel viewpoint から photorealistic な仮想画像をレンダリングし、把持生成の追加コンテキストとして利用する。 - Graspnet-1billion dataset 上での初期結果を報告する段階の研究。

2. 先行研究と比べてどこがすごい?

- 従来は複数画像を取得するためにカメラを適切な位置列へ移動させる必要があり、時間と reachability 制約の問題があった。 - 追加視点を増やすほど grasp pose の精度は上がり得るが、時間コストも増大するというトレードオフがあった。 - 本研究は実カメラ移動ではなく novel view synthesis で追加視点を得る点が異なり、sparsely sampled real views に加えて novel views が force-closure grasps の獲得と grasp coverage の改善に寄与することを示した。

3. 技術・手法の肝は?

- Gaussian Splatting のような radiance fields による scene representation を用い、ユーザ指定の novel viewpoint から photorealistic な仮想画像をレンダリングする。 - その novel views を grasp pose 生成の入力コンテキストとして利用する。 - 実カメラの追加移動を伴わずに追加視点情報を獲得する枠組み。 - 具体的な grasp 生成アルゴリズムやレンダリング手順の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- Graspnet-1billion dataset を用いた実験を実施。 - sparsely sampled real views から得られる force-closure grasps に加え、novel views が新たな force-closure grasps の獲得に寄与することを示した。 - 併せて grasp coverage の改善を報告。 - 定量的な評価指標の詳細や比較条件は要旨からは不明。

5. 議論はある?

- 本研究は initial results であり、novel view synthesis が grasp pose 生成に追加コンテキストを提供し得ることを示唆する段階。 - 将来的には、単一入力画像から構築した radiance fields からの grasp 抽出への拡張を展望しており、diffusion models や generalizable radiance fields の利用に言及。 - reachability 制約や時間コストに関する定量的な議論、限界の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で言及された diffusion models を用いた単一画像からの radiance fields 構築・grasp 抽出に関する研究。 - generalizable radiance fields に関する研究。 - Gaussian Splatting および novel view synthesis の原論文。 - Graspnet-1billion dataset を用いた grasp pose 生成の代表的先行研究(例: GraspNet 系の手法)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Abhishek Kashyap, Henrik Andreasson, Todor Stoyanov

分類: cs.RO, cs.CV

原文アブストラクト

Vision based robot manipulation uses cameras to capture one or more images of a scene containing the objects to be manipulated. Taking multiple images can help if any object is occluded from one viewpoint but more visible from another viewpoint. However, the camera has to be moved to a sequence of suitable positions for capturing multiple images, which requires time and may not always be possible, due to reachability constraints. So while additional images can produce more accurate grasp poses due to the extra information available, the time-cost goes up with the number of additional views sampled. Scene representations like Gaussian Splatting are capable of rendering accurate photorealistic virtual images from user-specified novel viewpoints. In this work, we show initial results which indicate that novel view synthesis can provide additional context in generating grasp poses. Our experiments on the Graspnet-1billion dataset show that novel views contributed force-closure grasps in addition to the force-closure grasps obtained from sparsely sampled real views while also improving grasp coverage. In the future we hope this work can be extended to improve grasp extraction from radiance fields constructed with a single input image, using for example diffusion models or generalizable radiance fields.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI