日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2512.19684

動画からのシーン内物体操作のゼロショット再構成

Zero-shot Reconstruction of In-Scene Object Manipulation from Video

シェア:XThreadsFacebookLINEはてブBluesky

単眼RGB動画から、シーン内での物体操作を再構成する初のシステムを提案。データ駆動型基盤モデルで初期化し、2段階最適化で把持から操作までの手と物体の動きをシーンに整合させて復元する。

詳しい要約

1. どんなもの?

- 単眼 RGB 動画から、シーン内での物体操作(in-scene object manipulation)を再構成する初のシステムを提案する研究。 - 入力は monocular RGB video のみ。 - 出力は object mesh と poses、scene point cloud、hand poses を含む、grasping から interaction までの hand-object motion。 - 課題として ill-posed scene reconstruction、ambiguous hand-object depth、physically plausible interaction の必要性を挙げている。

2. 先行研究と比べてどこがすごい?

- 既存手法は hand centric coordinates で動作し、scene を無視していた。 - そのため metric accuracy と実用性が損なわれていた。 - 本研究は scene 情報を考慮し、入力動画で観測された scene と整合する hand-object motion を復元する点が異なる。 - 具体的な精度比較の数値は要旨からは不明。

3. 技術・手法の肝は?

- まず data-driven foundation models を用いて中核要素を初期化する。 - object mesh と poses - scene point cloud - hand poses - 次に two-stage optimization を適用し、grasping から interaction までの完全な hand-object motion を復元する。 - 復元結果は入力動画で観測された scene 情報と consistent に保つ。 - 各 stage の詳細な定式化は要旨からは不明。

4. どうやって有効だと検証した?

- 要旨からは不明。 - 定量的評価、データセット、比較実験の記述は要旨に含まれていない。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗ケース、議論の詳細は要旨に記載がない。 - 課題として ill-posed scene reconstruction、ambiguous hand-object depth、physically plausible interaction が挙げられている。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として hand centric coordinates を用いる既存の hand-object reconstruction 研究、data-driven foundation models(object mesh/pose 推定、scene point cloud 推定、hand pose 推定)、two-stage optimization を用いる関連研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dixuan Lin, Tianyou Wang, Zhuoyang Pan, Yufu Wang, Lingjie Liu, Kostas Daniilidis

分類: cs.CV, cs.RO

原文アブストラクト

We build the first system to address the problem of reconstructing in-scene object manipulation from a monocular RGB video. It is challenging due to ill-posed scene reconstruction, ambiguous hand-object depth, and the need for physically plausible interactions. Existing methods operate in hand centric coordinates and ignore the scene, hindering metric accuracy and practical use. In our method, we first use data-driven foundation models to initialize the core components, including the object mesh and poses, the scene point cloud, and the hand poses. We then apply a two-stage optimization that recovers a complete hand-object motion from grasping to interaction, which remains consistent with the scene information observed in the input video.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI