日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2610.26583

DenseHap: 単眼画像からの高密度ハンド触覚推定

DenseHap: Dense Hand Haptic Estimation from Monocular Images

シェア:XThreadsFacebookLINEはてブBluesky

単眼画像から手の距離場・接触・圧力・3D再構成を統合的に推定するエンドツーエンド手法を提案し、未学習データでF1スコアを大幅改善した。

詳しい要約

1. どんなもの?

- 単眼画像から手の接触・圧力・距離場・3D再構成を一括推定する統合手法 DenseHap の提案 - 人間の手と物体の相互作用アノテーションをスケーラブルに得ることを狙う - 3つの異なる head と事前学習済み3D再構成 skeleton、拡張データセットを組み合わせた end-to-end モデル - 出力は hand distance field、hand contact detection、hand pressure analysis、hand reconstruction の4種

2. 先行研究と比べてどこがすごい?

- 従来の hand contact estimation は dorsal-side の誤分類や精度不足、複数モダリティ統合の枠組み欠如が課題 - DenseHap は distance field・contact threshold・pressure を単一フレームワークで統合 - 未学習データセットで F1 が 8.5ポイント(相対16%)、in-distribution で 3ポイント(相対5%)向上し SOTA を上回る - 短距離の hand estimate と pressure 評価も改善

3. 技術・手法の肝は?

- 単眼画像入力の end-to-end アーキテクチャ - 3つの明確に定義された head で distance field・contact・pressure を分担推定 - 事前学習済みの 3D reconstructed skeleton を活用 - 拡張データセットを併用して学習 - 詳細な損失設計や backbone は要旨からは不明

4. どうやって有効だと検証した?

- 4つの評価データセットで previous state of the art モデルと比較 - 未学習データセットで F1 +8.5pt(相対16%)、in-distribution で +3pt(相対5%)を報告 - 短距離 hand estimate と pressure evaluation の改善を定量的に確認 - 具体的なデータセット名や実験設定は要旨からは不明

5. 議論はある?

- dorsal-side misclassification の改善や精度向上を主張 - 複数モダリティ統合の有効性を示唆 - 限界・失敗事例・計算コスト・データセット依存性の議論は要旨からは不明 - code と models は採択後に公開予定

6. 次に読むべき論文は?

- 比較対象の previous state of the art の hand contact estimation 手法(具体名は要旨からは不明) - hand-object interaction のアノテーション関連研究 - monocular 3D hand reconstruction の代表的手法 - hand distance field / contact / pressure 推定の個別研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junhan Xue, Rolandos Alexandros Potamias

分類: cs.CV

原文アブストラクト

As dexterous robotic manipulation advances, scalable annotations of human hand-object interactions are becoming increasingly important. Furthermore, previous hand contact estimation methods suffered from issues such as dorsal-side misclassifications and insufficient precision, while lacking a unified framework for integrating multiple hand to environment interaction modalities, including distance fields, contact thresholds, and pressure. To address that, we present DenseHap, a unified end-to-end approach to estimate hand distance field recognition, comprehensive hand contact detection, hand pressure analysis, and hand reconstruction from a single monocular image. By incorporating three distinctly defined heads, along with a pretrained 3D reconstructed skeleton and an enhanced dataset, DenseHap outperforms previous state of the art models on four evaluation datasets, improving the F1 score by 8.5 percentage points (a 16% relative improvement) on untrained datasets and by 3 percentage points (5% relative improvement) on in-distribution datasets. Furthermore, DenseHap has effectively improved short-range hand estimate and pressure evaluation. Code and models will be publicly available upon the paper's acceptance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI