日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手の姿勢推定arXiv:2606.25619

ScaleHP: メートル空間での手の姿勢推定

ScaleHP: Estimating Hand Pose in Metric Space

シェア:XThreadsFacebookLINEはてブBluesky

手の骨の比例関係からメートル単位の手のサイズを推定し、深度モジュールなしで絶対スケールの手の姿勢を高精度に復元する新しいフレームワークを提案した。

詳しい要約

1. どんなもの?

- 本論文は、ScaleHP という手法を提案している。 - これは、単眼画像から手の絶対的なメートル尺度での手姿勢推定(HPE)を可能にするエンドツーエンドのワンステージフレームワークである。 - 従来の root-relative 座標系ではなく、カメラ座標系でのメートル空間における手姿勢を推定する。 - 没入型ヒューマンコンピュータインタラクションやロボティクスへの応用を目指す。

2. 先行研究と比べてどこがすごい?

- 既存の多くの手法は root-relative 座標系で姿勢を予測し、絶対的なメートル尺度を推定できない。 - また、壊れやすい extrinsic depth モジュールに依存する傾向がある。 - ScaleHP は、手の骨間の内在的な比例関係が安定した anthropometric 事前分布をエンコードし、手の全体的なメートルサイズと暗黙的に関連するという観察を利用する。 - これにより、extrinsic depth モジュールを回避しつつ、メートル空間での高精度な姿勢推定を実現する。 - 最先端の性能を達成し、FreiHand で 35.8 CS-MPJPE、DexYCB と HO3Dv3 で 4.6/5.9 PA-MPJPE を記録。

3. 技術・手法の肝は?

- transformer ベースのデコーダを採用し、新しい scale token を導入する。 - この scale token が、マルチスケールの形態的特徴と外観的特徴を融合する。 - 透視制約付き最小二乗法(perspective-constrained least-squares)を解くことで、カメラ座標系でのメートル座標を推定する。 - これにより、高精度な姿勢推定を実現する。

4. どうやって有効だと検証した?

- 標準的なベンチマークデータセットである FreiHand、DexYCB、HO3Dv3 で評価。 - FreiHand で 35.8 CS-MPJPE、DexYCB と HO3Dv3 で 4.6/5.9 PA-MPJPE を達成し、最先端性能を示した。 - これらの結果は、内部の生物学的制約が相対幾何誤差と絶対メートル誤差を大幅に削減することを示している。

5. 議論はある?

- 内部の生物学的制約が相対幾何誤差と絶対メートル誤差を大幅に削減することを示し、一般化された実世界の手追跡に対する堅牢なソリューションを提供する。 - 具体的な議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、root-relative 座標系での HPE や extrinsic depth モジュールを用いる手法が挙げられるが、具体的な論文名は不明。 - 同分野の定番として、FreiHand、DexYCB、HO3Dv3 データセットを用いた HPE 研究が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruitao Jing, Xingyu Chen, Hongyang Li, Qing Jiang, Yukai Shi, Lei Zhang

分類: cs.CV

原文アブストラクト

Accurate metric-space hand pose estimation (HPE) is essential for immersive human-computer interaction and robotics. However, most existing methods predict poses in a root-relative coordinate system and cannot estimate the hand in absolute metric scale. In this work, we observe that the intrinsic proportional relationships among human hand bones encode stable anthropometric priors that implicitly correlate with the overall metric size of the hand. Leveraging this insight, we present ScaleHP, an end-to-end one-stage hand pose estimation framework that bypasses fragile extrinsic depth modules to recover the hand in metric space. ScaleHP employs a transformer-based decoder with a novel scale token to fuse multi-scale morphological and appearance features. By solving for metric coordinates through a perspective-constrained least-squares approach, we achieve high-precision pose estimation in the camera coordinate system. ScaleHP delivers state-of-the-art performance, including 35.8 CS-MPJPE on FreiHand and 4.6/5.9 PA-MPJPE on DexYCB and HO3Dv3. These results demonstrate that internal biological constraints significantly reduce relative geometry and absolute metric errors, offering a robust solution for generalized, real-world hand tracking.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI