日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚/3次元再構成arXiv:2604.08945

TouchAnything: 拡散モデルによるスパースなロボット触覚からの3次元再構成

TouchAnything: Diffusion-Guided 3D Reconstruction from Sparse Robot Touches

シェア:XThreadsFacebookLINEはてブBluesky

少数の触覚センサ情報と物体の大まかなクラス情報から、事前学習済みの2次元拡散モデルを幾何学的先行知識として活用し、物体の正確な3次元形状を再構成するフレームワークを提案した。

詳しい要約

1. どんなもの?

- 疎なロボット触覚から物体の3D形状を復元する TouchAnything を提案。 - 視覚拡散モデルを事前分布として利用し、少数の接触制約と粗いクラス記述から再構成。 - 遮蔽や悪照明で視覚が使えない状況を想定。 - カテゴリ固有ネットワークや触覚拡散モデルを学習せず、視覚拡散モデルの幾何知識を転移。 - 未見物体の open-world 3D 再構成も可能。

2. 先行研究と比べてどこがすごい?

- 従来はカテゴリ固有の再構成ネットワークを学習、または触覚データから拡散モデルを直接学習。 - 本研究は大規模2D視覚拡散モデルを意味・幾何事前分布として触覚領域へ転移。 - 触覚のみでは根本的に不十分な疎接触から、既存ベースラインを上回る精度で再構成。 - 学習不要の最適化により、未見インスタンスへの汎化を実現。

3. 技術・手法の肝は?

- 事前学習済み大規模2D視覚拡散モデルを意味・幾何事前分布として利用。 - 入力は疎な接触制約と物体の粗いクラス記述。 - 再構成を最適化問題として定式化し、触覚整合性を課す。 - 拡散事前分布に整合する形状へ解を誘導。 - 触覚制約と拡散誘導を組み合わせ、少数接触から形状を推定。

4. どうやって有効だと検証した?

- 少数の触覚から正確な形状を再構成できると報告。 - 既存ベースラインを上回る性能を示す。 - 未見物体インスタンスの open-world 3D 再構成を実現。 - 詳細なデータセット名・評価指標・実験設定は要旨からは不明。

5. 議論はある?

- 視覚が信頼できない遮蔽・悪照明下で触覚が直接幾何情報を与える点を動機に。 - 疎な局所触覚のみからの大域3D再構成は本質的に不十分(underconstrained)。 - 拡散事前分布による誘導でこの問題を緩和。 - 限界・失敗事例・計算コスト・実機検証の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている先行研究:カテゴリ固有再構成ネットワーク、触覚データから学習する拡散モデル。 - 関連手法:pretrained large-scale 2D vision diffusion model、tactile sensing、sparse tactile measurements。 - 同分野の定番:vision-based 3D reconstruction、tactile-based shape estimation、diffusion prior for shape reconstruction。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Langzhe Gu, Hung-Jui Huang, Mohamad Qadri, Michael Kaess, Wenzhen Yuan

分類: cs.CV, cs.RO

原文アブストラクト

Accurate object geometry estimation is essential for many downstream tasks, including robotic manipulation and physical interaction. Although vision is the dominant modality for shape perception, it becomes unreliable under occlusions or challenging lighting conditions. In such scenarios, tactile sensing provides direct geometric information through physical contact. However, reconstructing global 3D geometry from sparse local touches alone is fundamentally underconstrained. We present TouchAnything, a framework that leverages a pretrained large-scale 2D vision diffusion model as a semantic and geometric prior for 3D reconstruction from sparse tactile measurements. Unlike prior work that trains category-specific reconstruction networks or learns diffusion models directly from tactile data, we transfer the geometric knowledge encoded in pretrained visual diffusion models to the tactile domain. Given sparse contact constraints and a coarse class-level description of the object, we formulate reconstruction as an optimization problem that enforces tactile consistency while guiding solutions toward shapes consistent with the diffusion prior. Our method reconstructs accurate geometries from only a few touches, outperforms existing baselines, and enables open-world 3D reconstruction of previously unseen object instances. Our project page is https://grange007.github.io/touchanything .

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI