日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成arXiv:2604.09100

手の遮蔽下での物理的根拠に基づく3D生成再構成:固有受容感覚と多点触覚の活用

Physically Grounded 3D Generative Reconstruction under Hand Occlusion using Proprioception and Multi-Contact Touch

シェア:XThreadsFacebookLINEはてブBluesky

手による遮蔽が激しい物体の再構成と姿勢推定を、視覚だけでなく固有受容感覚と多点触覚を用いて物理的に整合性のある形で行う手法を提案した。

詳しい要約

1. どんなもの?

- 手による遮蔽下での物体のメートルスケールのamodal再構成と姿勢推定を行うマルチモーダル・物理接地アプローチ。 - 視覚だけでなく、proprioception(手の姿勢幾何)とmulti-contact touch(接触位置)を利用。 - 物体構造をpose-aware, camera-aligned signed distance field (SDF)で表現し、Structure-VAEで潜在空間を学習。 - 条件付きflow-matching diffusion modelを訓練し、視覚のみの事前学習後、遮蔽操作シーンでファインチューニング。 - 物理ベース目的関数と微分可能デコーダガイダンスを組み込み、手と物体の貫通を低減し接触観測と表面を整合。 - メートル単位で物理的に整合した構造推定を出力し、既存の2段階再構成パイプラインに統合可能。

2. 先行研究と比べてどこがすごい?

- 従来の遮蔽対応3D生成は視覚のみに依存していたが、本手法はproprioceptionとmulti-contact touchを活用。 - 物理相互作用信号により遮蔽領域の曖昧さを低減し、物体表面の位置を制約。 - 視覚のみのベースラインと比較して、遮蔽下での補完が大幅に改善し、物理的に妥当な再構成を実世界スケールで実現。 - 訓練時と異なるエンドエフェクタを持つ実ヒューマノイドロボットへの転移も検証。

3. 技術・手法の肝は?

- 物体構造をpose-aware, camera-aligned SDFで表現し、Structure-VAEでコンパクトな潜在空間を学習。 - その潜在空間で条件付きflow-matching diffusion modelを訓練。 - 条件として可視RGB証拠、遮蔽物/可視性マスク、手の潜在表現、触覚情報を使用。 - ファインチューニングと推論時に物理ベース目的関数と微分可能デコーダガイダンスを導入。 - これにより手と物体の貫通を低減し、再構成表面を接触観測に整合させる。

4. どうやって有効だと検証した?

- シミュレーション実験で、proprioceptionとtouchを追加すると遮蔽下の補完が大幅に改善し、視覚のみのベースラインより物理的に妥当な再構成を実世界スケールで得ることを示した。 - 訓練時と異なるエンドエフェクタを持つ実ヒューマノイドロボットにモデルを展開し、転移を検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、occlusion-aware 3D generation、Structure-VAE、conditional flow-matching diffusion model、signed distance field (SDF) ベースの再構成、differentiable decoder-guidance などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gabriele Mario Caddeo, Pasquale Marra, Lorenzo Natale

分類: cs.CV, cs.RO

原文アブストラクト

We propose a multimodal, physically grounded approach for metric-scale amodal object reconstruction and pose estimation under severe hand occlusion. Unlike prior occlusion-aware 3D generation methods that rely only on vision, we leverage physical interaction signals: proprioception provides the posed hand geometry, and multi-contact touch constrains where the object surface must lie, reducing ambiguity in occluded regions. We represent object structure as a pose-aware, camera-aligned signed distance field (SDF) and learn a compact latent space with a Structure-VAE. In this latent space, we train a conditional flow-matching diffusion model, pretraining on vision-only images and finetuning on occluded manipulation scenes while conditioning on visible RGB evidence, occluder/visibility masks, the hand latent representation, and tactile information. Crucially, we incorporate physics-based objectives and differentiable decoder-guidance during finetuning and inference to reduce hand--object interpenetration and to align the reconstructed surface with contact observations. Because our method produces a metric, physically consistent structure estimate, it integrates naturally into existing two-stage reconstruction pipelines, where a downstream module refines geometry and predicts appearance. Experiments in simulation show that adding proprioception and touch substantially improves completion under occlusion and yields physically plausible reconstructions at correct real-world scale compared to vision-only baselines; we further validate transfer by deploying the model on a real humanoid robot with an end-effector different from those used during training.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI