関節構造推論2026/10/12arXiv:2610.16793

ViewStruct: 視点に基づく関節・接続構造の推論

ViewStruct: View-Grounded Articulation and Connectivity Inference

RGB画像と部分セグメンテーション・深度から、物体やシーンの剛体グループ・接続・関節パラメータを予測するフレームワークを提案。合成データのみで学習し、未知カテゴリや実世界動画へ転移、ロボット動作生成に応用可能。

詳しい要約

1. どんなもの？

- 物体やシーンの接続性と関節運動を同時に予測するフレームワーク ViewStruct を提案。 - RGB 画像と整列した part segmentation と depth を入力とし、オプションで画像や動画を追加。 - 剛体グループ、アタッチメント、関節パラメータを予測。 - 視点に基づく表現で予測を観測領域に結びつけ、重力に整列した視点相対フレームで関節幾何を表現。 - カテゴリ固有の正準方向を必要としない。 - 事前学習済み vision-language model を適応し、数秒で構造を予測。 - 観測された関節運動やインスタンスごとの最適化を必要としない。

2. 先行研究と比べてどこがすごい？

- 評価されたベースラインよりも構造予測が改善。 - 未見のカテゴリ、アセットソース、実世界の人間インタラクション動画に転移。 - タスク固有の訓練は合成データのみで行われたにもかかわらず転移が実現。 - カテゴリ固有の正準方向を必要としない点が先行研究と異なる。 - 観測された関節運動やインスタンスごとの最適化を必要としない点が優位。

3. 技術・手法の肝は？

- 視点に基づく表現（view-grounded representation）を採用。 - 予測を観測領域にリンクし、関節幾何を重力に整列した視点相対フレームで表現。 - 事前学習済み vision-language model を適応。 - 剛体グループ、アタッチメント、関節パラメータを同時に予測。 - 入力は RGB 画像、整列した part segmentation、depth、オプションで画像や動画。 - 数秒で構造を予測可能。

4. どうやって有効だと検証した？

- 評価されたベースラインに対する構造予測の改善を実験で示した。 - 未見のカテゴリ、アセットソース、実世界の人間インタラクション動画への転移を検証。 - シミュレーション操作実験で、予測された関節がロボット運動軌道生成に有用であることを実証。 - 訓練は合成データのみで行われた。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、part segmentation、depth 推定、vision-language model を活用した構造予測、関節運動推定、ロボット操作に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenjing Bian, Ranran Huang, Andreas Geiger

分類: cs.CV

原文アブストラクト

Interacting with unfamiliar objects requires understanding how their parts connect and move. We introduce ViewStruct, a framework for jointly predicting connectivity and articulation in objects and scenes. Given an RGB image with aligned part segmentation and depth, optionally supplemented by images or video, ViewStruct predicts rigid-body groupings, attachments, and joint parameters. Its view-grounded representation links predictions to observed regions and expresses joint geometry in a gravity-aligned, view-relative frame, without requiring category-specific canonical orientations. A pretrained vision--language model is adapted to predict structure in seconds, without requiring observed articulation motion or per-instance optimisation. Experiments demonstrate improved structural prediction over evaluated baselines and transfer to unseen categories, asset sources, and real-world human-interaction videos, despite task-specific training exclusively on synthetic data. Simulated manipulation experiments further demonstrate the utility of predicted joints for generating robot motion trajectories.

arXivで原文を読む →arXiv概要ページ

← 論文一覧