日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作転移arXiv:2611.08920

人間からロボットへの動作転移のための手と物体の接触軌道抽出

HOC2R: Hand-Object Contact Trajectories for Human-to-Robot Motion Transfer

シェア:XThreadsFacebookLINEはてブBluesky

人間の動画から手と物体の接触軌道を抽出し、ロボットが追従可能な動作へ変換する手法HOC2Rを提案。接触検出と位置推定の精度を向上させ、ロボット評価でも有効性を示した。

詳しい要約

1. どんなもの?

- 人間動画からロボットが追従可能な Hand-Object Contact 軌跡を抽出する手法 HOC2R の提案。 - frozen な DINOv3 と SAM 2.1 の特徴に学習済み head を組み合わせ、hand-object association と contact localization を行う。 - 2 モード: 未トリミング動画で可視 contact を検出・計数・位置推定する count-aware automation と、contact frame 既知時に二本指 gripper 向けの fixed-two localization。 - 人間実演からロボット用 contact 軌跡を抽出する実用的 pseudo-labeling 手法として位置づけられる。

2. 先行研究と比べてどこがすごい?

- 適応した VRB2 baseline と比較し、30-task point-annotated benchmark で contact-count accuracy を 58.1% から 71.4% へ改善。 - 同 benchmark で mean localization distance を 19.81 から 10.46 pixels へ低減。 - 未見の RGB-D rollout 7 件で、five-task fixed-two checkpoint が mean localization distance を 67.67 から 27.02 pixels へ低減。 - ロボット評価 6 系列で 30-task fixed-two checkpoint が feasible trajectory 4 件・成功 3 タスクを達成し、各適応 baseline の 2 件・1 タスクを上回る。 - 単一 hand 場面で競合的、hand-color shift に頑健、多 hand 場面で最強と報告。

3. 技術・手法の肝は?

- frozen な DINOv3 と SAM 2.1 の特徴を利用。 - 学習済み head により hand-object association と contact localization を実施。 - count-aware automation: 未トリミング動画中で可視 contact の検出・計数・位置推定を自動化。 - fixed-two localization: contact frame が既知の場合に二本指 gripper 向けの 2 点 contact 位置推定を行う。 - 抽出した contact 軌跡をロボット動作へ転移する枠組み。

4. どうやって有効だと検証した?

- 30-task point-annotated benchmark で count-aware automation を適応 VRB2 baseline と比較。 - 未見 RGB-D rollout 7 件で five-task fixed-two checkpoint を評価。 - ロボット評価 6 系列で 30-task fixed-two checkpoint の feasible trajectory 数とタスク成功率を適応 baseline と比較。 - 単一 hand 場面、hand-color shift、多 hand 場面での挙動も評価。

5. 議論はある?

- 評価した単一 hand 場面では競合的、hand-color shift に頑健、多 hand 場面で最強と報告。 - 人間実演からロボット利用可能な contact 軌跡を抽出する実用的 pseudo-labeling 手法として支持される結果。 - 限界や失敗要因の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象の VRB2 baseline。 - 特徴抽出に用いた DINOv3 および SAM 2.1。 - 関連分野の定番として hand-object interaction detection や contact localization の研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongkun Yu, Francisco M. López, Francisco Cruz

分類: cs.RO

原文アブストラクト

Human videos contain abundant object-manipulation demonstrations, but they do not directly provide motion cues that a robot can follow. We present HOC2R, a Hand-Object Contact trajectory extractor for Robot motion that combines frozen DINOv3 and SAM 2.1 features with learned heads for hand-object association and contact localization. HOC2R supports two modes: count-aware automation that detects, counts, and localizes visible contacts in untrimmed videos, and fixed-two localization for two-finger grippers when contact frames are known. On a 30-task point-annotated benchmark, count-aware automation improves contact-count accuracy from 58.1% to 71.4% and reduces mean localization distance from 19.81 to 10.46 pixels relative to an adapted VRB2 baseline. On seven unseen RGB-D rollouts, a five-task fixed-two checkpoint reduces mean localization distance from 67.67 to 27.02 pixels. Across six robot evaluation sequences, the 30-task fixed-two checkpoint produces four feasible trajectories and succeeds on three tasks, compared with two feasible trajectories and one successful task for each adapted baseline. HOC2R is competitive in the evaluated single-hand scenes, robust to the hand-color shift, and strongest in the evaluated multi-hand scenes. These results support HOC2R as a practical pseudo-labeling method for extracting robot-usable contact trajectories from human demonstrations.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI