日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ヒューマンロボットインタラクションarXiv:2604.08921

TAIHRI: 近接ヒューマンロボットインタラクションのためのタスク認識型3D人体キーポイント位置推定

TAIHRI: Task-Aware 3D Human Keypoints Localization for Close-Range Human-Robot Interaction

シェア:XThreadsFacebookLINEはてブBluesky

ロボットがユーザーの動作指示を理解し、タスクに関連する身体部位の3D座標を正確に推定する、初の視覚言語モデルを提案した。

詳しい要約

1. どんなもの?

- 近距離 human-robot interaction (HRI) 向けの 3D 人体 keypoints localization 手法 TAIHRI を提案。 - Vision-Language Model (VLM) を HRI 知覚に特化させた初の試みと主張。 - ユーザの motion command を理解し、タスクに最も関連する keypoints にロボットの注意を向ける。 - 3D keypoints を有限の interaction space に量子化し、next token prediction による 2D keypoint reasoning で重要身体部位の 3D 空間座標を精密に定位。 - 自然言語制御や global space human mesh recovery などの下流タスクに適応可能。

2. 先行研究と比べてどこがすごい?

- 従来の 3D human keypoints estimation は root joint に対する全身再構成品質に主眼。 - 実 HRI では egocentric camera 3D 座標下でのタスク関連身体部位の metric-scale な空間定位が重要。 - TAIHRI は VLM を HRI 知覚に特化させ、タスク関連 keypoints の推定精度で優位と報告。 - 具体的な比較対象手法や数値は要旨からは不明。

3. 技術・手法の肝は?

- Vision-Language Model (VLM) を近距離 HRI 知覚向けに設計。 - 3D keypoints を有限の interaction space に量子化。 - next token prediction による 2D keypoint reasoning で重要身体部位の 3D 空間座標を定位。 - ユーザの motion command を理解し、タスク関連 keypoints に注意を誘導。 - 自然言語制御や global space human mesh recovery へ seamless に適応。

4. どうやって有効だと検証した?

- egocentric interaction benchmarks 上で実験。 - タスク上重要な身体部位について優れた推定精度を達成したと報告。 - 具体的なベンチマーク名、評価指標、比較手法は要旨からは不明。

5. 議論はある?

- TAIHRI が embodied human-robot interaction 分野に新たな研究の道を開くと主張。 - 限界や失敗事例、倫理的懸念に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として 3D human pose estimation、Vision-Language Model (VLM)、human mesh recovery、egocentric HRI perception の定番研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ao Li, Yonggen Ling, Yiyang Lin, Yuji Wang, Yong Deng, Yansong Tang

分類: cs.CV

原文アブストラクト

Accurate 3D human keypoints localization is a critical technology enabling robots to achieve natural and safe physical interaction with users. Conventional 3D human keypoints estimation methods primarily focus on the whole-body reconstruction quality relative to the root joint. However, in practical human-robot interaction (HRI) scenarios, robots are more concerned with the precise metric-scale spatial localization of task-relevant body parts under the egocentric camera 3D coordinate. We propose TAIHRI, the first Vision-Language Model (VLM) tailored for close-range HRI perception, capable of understanding users' motion commands and directing the robot's attention to the most task-relevant keypoints. By quantizing 3D keypoints into a finite interaction space, TAIHRI precisely localize the 3D spatial coordinates of critical body parts by 2D keypoint reasoning via next token prediction, and seamlessly adapt to downstream tasks such as natural language control or global space human mesh recovery. Experiments on egocentric interaction benchmarks demonstrate that TAIHRI achieves superior estimation accuracy for task-critical body parts. We believe TAIHRI opens new research avenues in the field of embodied human-robot interaction. Code is available at: https://github.com/Tencent/TAIHRI.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI