日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2601.19406

シミュレーションと人間の協調学習によるデータ効率的で汎化可能なロボットマニピュレーション

Sim-and-Human Co-training for Data-Efficient and Generalizable Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

シミュレーションのロボット動作と実世界の人間観察を同時に活用する協調学習フレームワークSimHumを提案し、少ない実データで汎化性能の高いマニピュレーションを実現した。

詳しい要約

1. どんなもの?

- シミュレーションと人間のデータを共訓練するフレームワークSimHumを提案。 - シミュレーションからロボットの運動学的priorを、人間データから実世界の視覚的priorを抽出。 - 実世界のロボットマニピュレーションタスクにおいて、データ効率と汎化性能を向上させる。

2. 先行研究と比べてどこがすごい?

- シミュレーションと人間データの補完性に着目。 - シミュレーションはロボット行動を提供し、人間データは実世界観測を提供する。 - 同一データ収集予算でベースラインを最大40%上回る。 - 80の実データのみでOOD成功率62.5%を達成し、real onlyベースラインの7.1倍。

3. 技術・手法の肝は?

- シミュレーションロボット行動から運動学的priorを抽出。 - 実世界人間観測から視覚的priorを抽出。 - 二つの相補的priorを同時に活用する共訓練フレームワーク。

4. どうやって有効だと検証した?

- 実世界タスクでの実験により有効性を検証。 - 同一データ収集予算でベースラインを最大40%上回る性能を確認。 - 80の実データでOOD成功率62.5%を達成し、real onlyベースラインの7.1倍であることを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaipeng Fang, Weiqing Liang, Yuyang Li, Ji Zhang, Pengpeng Zeng, Lianli Gao, Jingkuan Song, Heng Tao Shen

分類: cs.RO, cs.AI

原文アブストラクト

Synthetic simulation data and real-world human data provide scalable alternatives to circumvent the prohibitive costs of robot data collection. However, these sources suffer from the sim-to-real visual gap and the human-to-robot embodiment gap, respectively, which limits the policy's generalization to real-world scenarios. In this work, we identify a natural yet underexplored complementarity between these sources: simulation offers the robot action that human data lacks, while human data provides the real-world observation that simulation struggles to render. Motivated by this insight, we present SimHum, a co-training framework to simultaneously extract kinematic prior from simulated robot actions and visual prior from real-world human observations. Based on the two complementary priors, we achieve data-efficient and generalizable robotic manipulation in real-world tasks. Empirically, SimHum outperforms the baseline by up to $\mathbf{40\%}$ under the same data collection budget, and achieves a $\mathbf{62.5\%}$ OOD success with only 80 real data, outperforming the real only baseline by $7.1\times$. Videos and additional information can be found at \href{https://kaipengfang.github.io/sim-and-human}{project website}.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI