日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習/データセットarXiv:2609.07498

CosmoH2G: 複雑な空間動作を伴う物体操作のためのハンドからグリッパーへの転移データセットとベースライン手法

CosmoH2G: A Hand-to-Gripper Transfer Dataset and Baseline Method for Object Manipulation with Complex Spatial Movements

シェア:XThreadsFacebookLINEはてブBluesky

人間の手のデモンストレーションをロボットグリッパーに転移する際、複雑な空間動作(回転や反転を含む軌道)を扱えるようにするため、大規模なペアデータセットと2段階の生成フレームワークを提案した論文。

詳しい要約

1. どんなもの?

本論文は、人間の手のデモンストレーションをロボットグリッパーへ転移するHand-to-Gripper転移タスクにおいて、複雑な空間的動作(回転や反転を含む軌道)を扱うための大規模データセット「CosmoH2G」と、そのデータセットを用いたベースライン手法を提案する。データセットは、6,189エピソード、1,254種類の物体を含み、既存のベンチマークよりも高い空間的複雑性を持つ。手法は、スパースなグリッパーキーフレームを予測するStage Iと、キーフレームに条件付けられた連続アクション系列を生成するStage IIからなる2段階フレームワークを採用する。さらに、累積ドリフトを軽減するため、グリッパーの向きは学習しつつ、並進は把握ヒューリスティックと運動学的整合性に基づいて後最適化する。

2. 先行研究と比べてどこがすごい?

既存のHand-to-Gripper転移手法は、単純な平面的タスクに限定されており、複雑な空間的動作(回転や反転を含む軌道)を扱えない。本手法は、そのような複雑な空間的動作を扱える点で優れている。また、データセットの構築において、動作の複雑性を優先する厳密なプロトコルとハンドヘルドグリッパーを用いたスケーラブルな収集パイプラインを導入し、既存ベンチマークよりも空間的複雑性が高い大規模データセットを提供する。さらに、単純なend-to-end生成では複雑なダイナミクスの下で小さな軌道偏差が累積する問題を指摘し、2段階フレームワークと後最適化により安定した転移を実現する。

3. 技術・手法の肝は?

手法の肝は、2段階フレームワークと後最適化にある。Stage Iでは、スパースなグリッパーキーフレーム(初期と終端)を予測し、マッピング目標を単純化する。Stage IIでは、これらのキーフレームに条件付けられた完全な連続アクション系列を生成する。さらに、累積ドリフトを軽減するため、グリッパーの向き(orientation)は学習しつつ、並進(translation)は把握ヒューリスティックと運動学的整合性に基づいて後最適化する。データセット収集では、動作の複雑性を優先するプロトコルとハンドヘルドグリッパーを用いたスケーラブルなパイプラインを採用している。

4. どうやって有効だと検証した?

シミュレーションと実ロボットの両方で実験を行い、複雑な空間的操作のHand-to-Gripper転移が安定かつ正確にできることを示した。従来のベースライン手法と比較して、有意に優れた性能を達成した。具体的な評価指標や比較対象の詳細は要旨からは不明だが、プロジェクトページで詳細が公開されている。

5. 議論はある?

要旨からは、提案手法の限界や課題についての議論は明示されていない。ただし、複雑な空間的動作の学習は依然として困難であり、2段階フレームワークや後最適化の設計は特定の仮定に依存している可能性がある。また、データセットの収集プロトコルや後最適化の計算コストなどについての詳細な議論は要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、Hand-to-Gripper転移の分野では、既存のベンチマークや手法(例えば、人間の手のデモをロボットに転移するための学習ベース手法)が関連する。また、データセット構築の分野では、大規模な操作データセット(例:RoboTurk、RLBenchなど)が参考になる。具体的な論文名は要旨にないため、同分野の定番を一般名で挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongxiang Zhao, Mutian Xu, Zeyu Jin, Yiming Hao, Shuguang Cui, Xiaoguang Han

分類: cs.RO, cs.CV

原文アブストラクト

Transferring human hand demonstrations to robotic grippers has recently emerged as a cost-effective solution for robot learning. However, existing methods are largely confined to simple, planar tasks and fail to handle complex spatial movements (e.g., intricate trajectories involving rotations or flips) that are essential for robot manipulation. Motivated by this gap, we adopt an implicit, data-driven approach guided by fine-grained hand-pose motions. To this end, we introduce a scalable acquisition pipeline to collect hand-gripper paired demonstrations, governed by a rigorous protocol that prioritizes motion complexity and leverages a handheld gripper for seamless action mimicry. This yields a large-scale paired dataset comprising 6,189 episodes across 1,254 unique objects, exhibiting significantly higher spatial complexity than existing benchmarks. However, learning such complex mappings remains challenging. We observe that naive end-to-end generation of full gripper pose sequences is insufficient, as minor trajectory deviations compound rapidly under intricate dynamics. To address this, we propose a two-stage framework: Stage I predicts sparse gripper keyframes (initial and terminal) to simplify the mapping objective, while Stage II generates the full continuous action sequence conditioned on these keyframes. Furthermore, to mitigate cumulative drift, we keep the gripper's orientation being learned while post-optimizing its translation based on the grasping heuristic and kinematic consistency. In both simulation and real-robot experiments, our framework enables stable and precise hand-to-gripper transfer of complex spatial manipulations, significantly outperforming traditional baselines. Project page: https://cosmoh2g.github.io.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI