日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作推定arXiv:2609.16684

MEgoVista: 実環境におけるメートル単位の4D手・頭部動作推定のための多視点自己中心運動推定

MEgoVista: Multi-view Ego-aware Motion Estimation for Metric 4D Hands and Head in the Wild

シェア:XThreadsFacebookLINEはてブBluesky

未準備の自己中心視点録画から、キャリブレーション済みステレオを用いてメートル単位の両手と頭部の動作を重力整合した世界座標系で再構成するオフラインパイプラインを提案。

詳しい要約

1. どんなもの?

- 単一の未準備な MEgo View 録画から、metric な両手と頭の動きを重力整合した単一の world frame で推定する offline pipeline。 - 3つの特徴: (1) studio volume や tabletop rig が届かない環境で再構成し、detection 時に hand ownership を確定して bystander の手を wearer の trajectory から除外する。(2) metric gauge を monocular prior ではなく calibrated stereo から取得し、初期化時に scale を導入して policy が物理単位を受け取れるようにする。(3) 両出力を motion-capture volume 内で独立した Chingmu optical capture に対して採点する。 - 自己の reference を監査し、手法が予測を拒否した分も課金する protocol の下で評価する。 - egocentric video から metric hand supervision への計…

2. 先行研究と比べてどこがすごい?

- 従来の metric hand label は studio rig と instrumented headset に由来し、どちらも準備された設定を出られず、独立した reference に対して検証されないという2点で制約されていた。 - 制約のない head-worn recording は逆のトレードオフを約束し、デバイスを装着する人数に応じてスケールする。 - MEgoVista は既存の egocentric reconstruction system と比べて、studio volume や tabletop rig が到達できない設定で再構成できる点、calibrated stereo から metric gauge を得る点、独立した Chingmu optical capture に対して両出力を採点する点で異なる。

3. 技術・手法の肝は?

- 単一の未準備な MEgo View 録画を入力とし、offline pipeline で metric な両手と頭の動きを重力整合した単一の world frame で推定する。 - detection 時に hand ownership を確定し、bystander の手を wearer の trajectory から除外する。 - metric gauge を calibrated stereo から取得し、monocular prior ではなく初期化時に scale を導入する。 - 出力は motion-capture volume 内で独立した Chingmu optical capture に対して採点される。 - 評価 protocol は自己の reference を監査し、手法が予測を拒否した分も課金する。

4. どうやって有効だと検証した?

- 両出力を motion-capture volume 内で独立した Chingmu optical capture に対して採点する。 - 評価 protocol は自己の reference を監査し、手法が予測を拒否した分も課金する。 - 具体的な数値結果や比較対象の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。制約や限界についての明示的な議論は要旨に記載されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: studio rigs、instrumented headsets、既存の egocentric reconstruction systems、Chingmu optical capture。 - 関連手法として、monocular prior を用いた metric hand reconstruction、tabletop rig による manipulation learning、egocentric video からの hand-motion reconstruction が挙げられる。 - 同分野の定番として、MANO hand model、SMPL body model、egocentric hand pose estimation、multi-view stereo などが次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiangong Xiao, Zhihao Zhang, Yifei Dong, Chao Ma, Zhouyi Jin, Zhiwen Hou, Li Liu, Weihuang Chen, Hongbin Sun, Maoqing Yao

分類: cs.CV

原文アブストラクト

Learning manipulation from human video requires high-fidelity hand-motion reconstruction in metric units. Today's metric hand labels come from studio rigs and instrumented headsets, and both are confined in the same two ways: neither leaves a prepared setting, and neither is checked against an independent reference. Unconstrained head-worn recording promises the opposite trade-off, scaling with the number of people wearing a device. We therefore introduce MEgoVista, an offline pipeline that turns a single unprepared MEgo View recording into metric two-hand and head motion in one gravity-aligned world frame. Three properties set it apart from existing egocentric reconstruction systems: first, it reconstructs in settings studio volumes and tabletop rigs cannot reach, settling hand ownership at detection so bystander hands stay out of the wearer's trajectory; second, it takes its metric gauge from calibrated stereo rather than a monocular prior, installing scale at initialisation so policies receive physical units, not arbitrary coordinates; third, both outputs are scored inside a motion-capture volume against independent Chingmu optical capture, under a protocol that audits its own reference and charges what a method declines to predict. MEgoVista is offered as a measured route from egocentric video to metric hand supervision, one that widens where such labels can be gathered.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI