日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2512.07698

sim2art: 合成データのみで単眼動画から関節物体を高精度にモデリング

sim2art: Accurate Articulated Object Modeling from a Single Video using Synthetic Training Data Only

シェア:XThreadsFacebookLINEはてブBluesky

単眼動画から関節物体の3D部位分割と関節パラメータを復元するフレームワークを提案。合成データのみで学習しながら実世界に汎化し、多様な物体カテゴリを含む新ベンチマークも導入した。

詳しい要約

1. どんなもの?

- 単眼動画から articulated object の 3D part segmentation と joint parameters を復元するデータ駆動フレームワーク sim2art を提案。 - 自由に動くカメラで撮影した単一 monocular video を入力とする。 - 合成データのみで学習し、実世界シーケンスへ汎化することを狙う。 - 本分野の標準 benchmark 不足に対応し、物体カテゴリ・インスタンスの多様性が高い2つの dataset を導入。

2. 先行研究と比べてどこがすごい?

- 既存手法は multi-view 構成、高忠実度 object scan、壊れやすい long-term point tracks に依存し、日常的な実世界撮影で失敗しやすい。 - sim2art は long-term correspondence を使わず、per-frame surface point sampling に基づく頑健な表現を用いる。 - この表現は simulation と reality の差が小さく、domain adaptation を必要としない。 - 単一視点可視性に基づく構成で、ノイズや occlusion があっても合成・実データ間で幾何表現が一貫。 - 合成データのみで学習しながら実世界へ強く汎化し、SOTA の optimization-based / tracking-dependent 手法を上回る。

3. 技術・手法の肝は?

- 中核は per-frame surface point sampling に基づく頑健な表現。 - これに short-term scene flow と DINOv3 semantic features を付加する。 - 単一視点可視性を前提とした構成により、合成・実データ間の幾何表現の一貫性を担保。 - 適切な Transformer-based architecture を用いて、合成データのみで学習する。 - 新規カテゴリへの拡張が容易で、実世界 annotation を必要としない scalable な設計。

4. どうやって有効だと検証した?

- 物体カテゴリ・インスタンスの多様性が従来より高い2つの dataset を新たに導入し評価に用いる。 - 大規模な camera motion や複雑な articulation を含む条件で評価。 - SOTA の optimization-based 手法および tracking-dependent 手法と比較し、sim2art が上回ることを示す。 - 合成データのみで学習したモデルが実世界シーケンスへ汎化することを確認。

5. 議論はある?

- long-term correspondence 依存の脆弱性を回避する点が議論の中心。 - simulation と reality の差が小さく domain adaptation 不要という主張。 - 単一視点可視性による幾何表現の一貫性が、ノイズ・occlusion 下での頑健性を支える。 - 標準 benchmark 不在への問題提起と、多様性の高い2 dataset の導入。 - 具体的な限界や失敗ケースの詳細は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及される optimization-based articulated object modeling 手法。 - tracking-dependent 手法(long-term point tracks を用いる系統)。 - DINOv3 および short-term scene flow に関する研究。 - articulated object の単眼動画理解に関する既存 benchmark・dataset 研究。 - Transformer-based architecture を用いた articulated object 推定の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Arslan Artykov, Tom Ravaud, Corentin Sautier, Vincent Lepetit

分類: cs.CV, cs.RO

原文アブストラクト

Understanding articulated objects from monocular video is a crucial yet challenging task in robotics and digital twin creation. Existing methods often rely on complex multi-view setups, high-fidelity object scans, or fragile long-term point tracks that frequently fail in casual real-world captures. In this paper, we present sim2art, a data-driven framework that recovers the 3D part segmentation and joint parameters of articulated objects from a single monocular video captured by a freely moving camera. Our core insight is a robust representation based on per-frame surface point sampling, which we augment with short-term scene flow and DINOv3 semantic features. Unlike previous works that depend on error-prone long-term correspondences, our representation is easy to obtain and exhibits a negligible difference between simulation and reality without requiring domain adaptation. Also, by construction, our method relies on single-viewpoint visibility, ensuring that the geometric representation remains consistent across synthetic and real data despite noise and occlusions. Leveraging a suitable Transformer-based architecture, sim2art is trained exclusively on synthetic data yet generalizes strongly to real-world sequences. To address the lack of standardized benchmarks in the field, we introduce two datasets featuring a significantly higher diversity of object categories and instances than prior work. Our evaluations show that sim2art effectively handles large camera motions and complex articulations, outperforming state-of-the-art optimization-based and tracking-dependent methods. sim2art offers a scalable solution that can be easily extended to new object categories without the need for cumbersome real-world annotations. Project webpage: https://aartykov.github.io/sim2art/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI