日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手メッシュ推定arXiv:2407.15844

HandDGP: 微分可能なグローバル位置推定によるカメラ空間手メッシュ予測

HandDGP: Camera-Space Hand Mesh Prediction with Differentiable Global Positioning

シェア:XThreadsFacebookLINEはてブBluesky

単一RGB画像からカメラ空間の手メッシュを予測するため、相対座標予測とカメラ空間への持ち上げを微分可能なグローバル位置推定モジュールで統合したエンドツーエンド手法を提案。画像補正によりスケールと奥行きの曖昧さを軽減し、3つの公開ベンチマークで有効性を示した。

著者: Eugene Valassakis, Guillermo Garcia-Hernando

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

Predicting camera-space hand meshes from single RGB images is crucial for enabling realistic hand interactions in 3D virtual and augmented worlds. Previous work typically divided the task into two stages: given a cropped image of the hand, predict meshes in relative coordinates, followed by lifting these predictions into camera space in a separate and independent stage, often resulting in the loss of valuable contextual and scale information. To prevent the loss of these cues, we propose unifying these two stages into an end-to-end solution that addresses the 2D-3D correspondence problem. This solution enables back-propagation from camera space outputs to the rest of the network through a new differentiable global positioning module. We also introduce an image rectification step that harmonizes both the training dataset and the input image as if they were acquired with the same camera, helping to alleviate the inherent scale-depth ambiguity of the problem. We validate the effectiveness of our framework in evaluations against several baselines and state-of-the-art approaches across three public benchmarks.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI