日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

透明物体深度推定arXiv:2507.11069

TRAN-D: 物理シミュレーションによるシーン更新を可能にする2Dガウシアンスプラッティングベースの疎視点透明物体深度再構成

TRAN-D: 2D Gaussian Splatting-based Sparse-view Transparent Object Depth Reconstruction via Physics Simulation for Scene Update

シェア:XThreadsFacebookLINEはてブBluesky

透明物体を背景から分離して2Dガウシアンスプラッティングを最適化し、物理シミュレーションで数秒で再構成を更新する疎視点深度推定手法を提案。

詳しい要約

1. どんなもの?

- TRAN-Dは、RGB画像から透明物体の3D形状を復元する2D Gaussian Splatting (2DGS) ベースのdepth reconstruction手法 - 対象はsparse-viewかつ動的な環境での透明物体 - 透明物体を背景から分離し、物体に対応するGaussianを集中的に最適化する - 物体の除去や残存物体の連鎖的な動きにも対応するscene updateを目指す

2. 先行研究と比べてどこがすごい?

- 既存のGS-based state-of-the-art手法と比較して、syntheticおよびreal-worldシーケンスで一貫した改善 - synthetic TRansPoseシーケンスでmean absolute errorを39%以上削減 - 1枚の画像のみで更新した場合でもδ < 2.5 cmの精度48.46%を達成し、6枚の画像を使うbaselineの1.5倍以上 - 再スキャンなしで物体除去や連鎖反応的な動きを扱える点が特徴

3. 技術・手法の肝は?

- 透明物体と背景を分離し、物体に対応するGaussianの最適化に集中 - object-aware lossにより、遮蔽領域にもGaussianを配置して不可視表面をカバーし、overfittingを抑制 - physics-based simulationを組み込み、数秒で再構成をrefine - これにより物体除去や残存物体のchain-reaction movementを再スキャンなしで処理

4. どうやって有効だと検証した?

- syntheticおよびreal-worldのシーケンスで評価 - 既存のGS-based state-of-the-art手法と比較 - synthetic TRansPoseシーケンスでmean absolute errorを39%以上削減 - 1枚の画像のみで更新した場合にδ < 2.5 cmの精度48.46%を達成し、6枚の画像を使うbaselineと比較

5. 議論はある?

- 要旨からは不明 - 透明物体のreflectionやrefractionへの対処、sparse-viewおよびdynamic環境への適用が動機として述べられている - physics simulationによるrefineの限界や、real-worldでの一般性については要旨からは不明

6. 次に読むべき論文は?

- 2D Gaussian Splatting (2DGS) - TRansPose dataset - 既存のGS-based state-of-the-art transparent object depth reconstruction手法 - physics-based simulationを用いたscene update関連研究 - 透明物体の3D再構成に関する一般的な手法(例: NeRFベースの透明物体再構成)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jeongyun Kim, Seunghoon Jeong, Giseop Kim, Myung-Hwan Jeon, Eunji Jun, Ayoung Kim

分類: cs.RO, cs.CV

原文アブストラクト

Understanding the 3D geometry of transparent objects from RGB images is challenging due to their inherent physical properties, such as reflection and refraction. To address these difficulties, especially in scenarios with sparse views and dynamic environments, we introduce TRAN-D, a novel 2D Gaussian Splatting-based depth reconstruction method for transparent objects. Our key insight lies in separating transparent objects from the background, enabling focused optimization of Gaussians corresponding to the object. We mitigate artifacts with an object-aware loss that places Gaussians in obscured regions, ensuring coverage of invisible surfaces while reducing overfitting. Furthermore, we incorporate a physics-based simulation that refines the reconstruction in just a few seconds, effectively handling object removal and chain-reaction movement of remaining objects without the need for rescanning. TRAN-D is evaluated on both synthetic and real-world sequences, and it consistently demonstrated robust improvements over existing GS-based state-of-the-art methods. In comparison with baselines, TRAN-D reduces the mean absolute error by over 39% for the synthetic TRansPose sequences. Furthermore, despite being updated using only one image, TRAN-D reaches a {\delta} < 2.5 cm accuracy of 48.46%, over 1.5 times that of baselines, which uses six images. Code and more results are available at https://jeongyun0609.github.io/TRAN-D/.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI