日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2606.28133

橋渡し動作としての翻訳:人間からロボットへの操作スキル転移

Translation as a Bridging Action: Transferring Manipulation Skills from Humans to Robots

シェア:XThreadsFacebookLINEはてブBluesky

人間の動作データから双腕ロボットへの操作スキル転移を改善するため、頭部カメラ座標系での相対手首並進を橋渡し動作表現として用いる手法を提案し、ノイズの多い6DoF人間動作よりも効果的であることを示した。

詳しい要約

1. どんなもの?

- 人間の行動から双腕ロボットへの操作スキル転移を研究。 - 人間データは安価で多様だが、手指とパラレルグリッパの接触差が課題。 - 回転を含む行動信号の学習は最適でないと主張。 - 代わりにbridging action表現を提案。 - 初期頭部カメラ座標系での相対手首並進。 - 人間とロボットで共有可能な行動空間。 - 異なる身体での行動成分欠如に対処するVLAモデルを構築。

2. 先行研究と比べてどこがすごい?

- 従来は人間を双腕6DoF身体とみなし、手姿勢推定のノイズや接触パターン差が問題。 - 回転を含む行動学習は準最適と指摘。 - 提案のbridging actionは人間の操作知識をロボットへ効果的に転移。 - ノイズの多い6DoF人間行動より優れ、人間データ量に応じてスケール。

3. 技術・手法の肝は?

- bridging action表現:初期頭部カメラフレーム内の相対手首並進。 - 人間とロボットで共有される行動空間。 - π0ライクなvision-language-actionモデルを構築。 - インターリーブ行動トークンとattention maskingを採用。 - 異なる身体での行動成分欠如に対処。

4. どうやって有効だと検証した?

- 新規双腕操作タスクのスイートで検証。 - bridging actionがノイズの多い6DoF人間行動より効果的に転移。 - 人間データ量に応じてスケールすることを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- π0ライクなvision-language-actionモデル(π0など)。 - 人間からロボットへのスキル転移に関する研究。 - 双腕操作の学習手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sijin Chen, Kaixuan Jiang, Haixin Shi, Yanhui Wang, Weiheng Zhong, Haosheng Li, Bo Jiang, Yuxiao Liu, Xihui Liu

分類: cs.RO, cs.CV

原文アブストラクト

We study whether we can learn novel manipulation skills from human actions to a bi-manual robot with parallel grippers. Human action data is cheap, abundant, and diverse, making it one of the most promising resources for scaling up robot learning. Yet transferring skills from humans to robots remains hard: most prior work treats humans as just another bi-manual 6DoF embodiment, where hand-pose estimates are noisy and the contact patterns of human fingers differ fundamentally from those of a parallel gripper. We argue that learning rotation-inclusive action signals from human data is therefore sub-optimal, and instead propose a bridging action representation: the relative wrist translation within the initial head-camera frame, an action space shared by humans and robots. To handle the potential absence of certain action components in different embodiments, we build a $\pi_0$-like vision-language-action model with interleaved action tokens and attention masking. On a suite of novel bi-manual manipulation tasks, our bridging action transfers human manipulation knowledge to robots far more effectively than noisy 6DoF human actions and scales with the amount of human data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI