日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2510.19200

GRASPLAT: 新視点合成による器用な把持の実現

GRASPLAT: Enabling dexterous grasping through novel view synthesis

シェア:XThreadsFacebookLINEはてブBluesky

RGB画像のみで学習し、3Dガウシアンスプラッティングで手と物体の新視点画像を合成することで、多指ハンドの把持姿勢を予測するフレームワーク。

詳しい要約

1. どんなもの?

- 多指ハンドによるdexterous graspingを目的とした新規把持フレームワークGRASPLATの提案。 - 完全な3Dスキャンを必要とせず、RGB画像のみで学習する点が特徴。 - 実世界のhand-object interactionの高忠実なnovel viewを3D Gaussian Splattingで合成し、把持のhand jointsを回帰する。 - 合成データと実世界の把持データセットで評価。

2. 先行研究と比べてどこがすごい?

- 既存手法は完全な3Dスキャンに依存し、実世界での高品質3Dデータ取得が困難という制約があった。 - GRASPLATはRGB画像のみで学習しながら一貫した3D情報を活用できる。 - 画像ベースの既存手法と比較して把持成功率を最大36.9%改善。 - photometric lossにより描画画像と実画像の差異を最小化して把持予測を精緻化する点が従来と異なる。

3. 技術・手法の肝は?

- 3D Gaussian Splattingを用いて実世界のhand-object interactionの高忠実なnovel viewを生成。 - 物体を把持する手の物理的に妥当な画像を合成し、対応するhand jointsを回帰。 - RGBデータによるend-to-end学習を実現。 - photometric lossを導入し、rendered画像とreal画像のdiscrepancyを最小化することで把持予測をrefine。

4. どうやって有効だと検証した?

- syntheticおよびreal-worldのgrasping datasetsの両方で広範な実験を実施。 - 画像ベースの既存手法と比較し、把持成功率が最大36.9%向上することを示した。 - 詳細な実験設定や評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、3D Gaussian Splatting依存による計算コスト等の議論は要旨では言及されていない。

6. 次に読むべき論文は?

- 3D Gaussian Splatting関連研究。 - 画像ベースのdexterous grasping手法(既存のimage-based methods)。 - hand-object interactionのnovel view synthesis研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Matteo Bortolon, Nuno Ferreira Duarte, Plinio Moreno, Fabio Poiesi, José Santos-Victor, Alessio Del Bue

分類: cs.RO, cs.CV

原文アブストラクト

Achieving dexterous robotic grasping with multi-fingered hands remains a significant challenge. While existing methods rely on complete 3D scans to predict grasp poses, these approaches face limitations due to the difficulty of acquiring high-quality 3D data in real-world scenarios. In this paper, we introduce GRASPLAT, a novel grasping framework that leverages consistent 3D information while being trained solely on RGB images. Our key insight is that by synthesizing physically plausible images of a hand grasping an object, we can regress the corresponding hand joints for a successful grasp. To achieve this, we utilize 3D Gaussian Splatting to generate high-fidelity novel views of real hand-object interactions, enabling end-to-end training with RGB data. Unlike prior methods, our approach incorporates a photometric loss that refines grasp predictions by minimizing discrepancies between rendered and real images. We conduct extensive experiments on both synthetic and real-world grasping datasets, demonstrating that GRASPLAT improves grasp success rates up to 36.9% over existing image-based methods. Project page: https://mbortolon97.github.io/grasplat/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI