日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.39403

IronMind: カメラ空間自己中心事前学習によるヒューマノイド巧みな操作のスケーリング

IronMind: Scaling Humanoid Dexterous Manipulation via Camera-Space Ego-Centric Pretraining

シェア:XThreadsFacebookLINEはてブBluesky

自己中心的な人間動画と異種ロボットデータを用いて、カメラ空間行動表現で身体ギャップを埋め、ヒューマノイドの巧みな操作のためのVLAモデルを事前学習する手法を提案。

詳しい要約

1. どんなもの?

- ヒューマノイドの器用な manipulation のための VLA モデル IronMind を提案。 - egocentric な人間動画と heterogeneous なロボットデータで policy を pretraining。 - camera-space action representation を採用し、body-retargeting を回避。 - 250〜10,000 時間の pretraining budget で検証。

2. 先行研究と比べてどこがすごい?

- 従来は人間手とロボット end-effector の embodiment gap と torso kinematics 不足が問題。 - IronMind は explicit body-retargeting を不要にし、camera-space で人間とロボットの action 次元を意味的に対応。 - 10,000 時間 pretraining で未見物体・affordance・reasoning prompt を含む 6 タスクで 55.0% 成功。 - 5,000 時間以下は最大 11.7%、pretraining なしは 5.0% にとどまる。

3. 技術・手法の肝は?

- egocentric 人間動画を camera-space action representation で扱う。 - この表現は egocentric 動画の native reference space。 - 人間とロボットの action 次元を意味的に align。 - VLA モデルとして vision-language-action を統合。 - heterogeneous なロボットデータも pretraining に利用。

4. どうやって有効だと検証した?

- pretraining budget 250〜10,000 時間で validation loss を測定。 - データ規模に対し validation loss がほぼ log-linear に減少。 - post-training 後、未見物体・affordance・reasoning prompt を含む 6 つの難タスクで実機評価。 - 10,000 時間モデルは 55.0% 成功、5,000 時間以下は最大 11.7%、pretraining なしは 5.0%。 - 同一 pretraining budget で camera-space 表現が torso-frame baseline を上回る。

5. 議論はある?

- 大規模 egocentric 人間データと camera-space action representation が scalable foundation になり得ると主張。 - embodiment gap と heterogeneous data quality への対処が焦点。 - ただし要旨からは、失敗事例や限界、計算コスト、安全性の議論は不明。 - 一般化可能性や他 embodiment への転用については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されているのは torso-frame baseline と body-retargeting を用いる従来手法。 - 関連手法として vision-language-action (VLA) モデル、egocentric human video を用いた manipulation 学習、camera-space action representation が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huimin Pan, Yufan Ren, Kunpeng Song, Siyang Wang, Xiwen Zhang, Xiaoyun Hu, Zhuoxu Duan, Hanrui Zheng, Jialeng Ni, Nathan Zhao, Sibo Ma, Zhenxuan Fan, Zhongyang Che, Danny Bao, Jiacheng Wei, Jerry Bai, Xiaoyu Yue, Xiaoyang Guo, Chenyi Chen

分類: cs.RO

原文アブストラクト

Egocentric human video offers a scalable data source for dexterous manipulation, yet using it to train humanoid robots presents two challenges: (1) an embodiment gap, as human hands differ structurally from robot end-effectors and low-cost egocentric recordings lack the torso kinematics required by conventional retargeting; and (2) heterogeneous data quality, including noisy hand-pose tracking and weakly aligned text annotations. We introduce IronMind, a vision-language-action (VLA) model that uses egocentric human video and heterogeneous robot data to pretrain policies for humanoid dexterous manipulation. To bridge the embodiment gap, IronMind bypasses explicit body-retargeting by using a camera-space action representation, the native reference space of egocentric video, and semantically aligning robot and human action dimensions. Across total pretraining budgets from 250 to 10,000 hours, validation loss decreases approximately log-linearly with data scale. Larger pretraining budgets also improve out-of-distribution real-robot manipulation after post-training: across six challenging tasks with unseen objects, affordances, and reasoning prompts, the 10,000-hour model achieves a 55.0% success rate, compared with at most 11.7% for every pretraining budget up to 5,000 hours and 5.0% without pretraining. At the same pretraining budget, the camera-space action representation also outperforms the torso-frame baseline. Together, these findings support pretraining with a camera-space action representation on large-scale human egocentric data as a scalable foundation for humanoid robot manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI