日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.15411

MiVLA: 人間とロボットの相互模倣事前学習による汎化可能な視覚-言語-行動モデル

MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training

シェア:XThreadsFacebookLINEはてブBluesky

人間の手とロボットアームの動作類似性を利用し、人間とロボットの行動空間を双方向に整列させる相互模倣事前学習でVLAを訓練し、汎化性能を向上させた研究。

詳しい要約

1. どんなもの?

- 提案: MiVLA は human-robot mutual imitation pre-training で汎化性を高める Vision-Language-Action model (VLA) - 目的: 実ロボットデータ不足を human video と simulated robot data で補う際の、camera view・visual appearance・embodiment morphology の不一致による汎化制限を緩和 - 特徴: 人間の手とロボットアームの行動類似性を利用し、human action と robotic control の双方に強い behavioral prior を構築 - 対象: 下流タスクへの汎化を狙う基盤モデル

2. 先行研究と比べてどこがすごい?

- 既存 VLA は camera view・visual appearance・embodiment の不一致で汎化が制限される点を課題化 - human video と simulated robot data の双方を活用しつつ、behavioral similarity を介して統一モデルに統合する点が差分 - 実験では state-of-the-art VLA である π0、π0.5、H-RDT に対し simulation で 25%、real-world robot control で 14% の改善を報告 - 具体的な先行研究との詳細比較は要旨からは不明

3. 技術・手法の肝は?

- human-robot mutual imitation pre-training を採用 - left/right hand coordinate systems を用いた kinematic rules により、human と robot の action space を双方向に alignment - human または simulated robot の demonstration に対し、一方の embodiment の behavior trajectory を予測し、もう一方の未見 embodiment の behavior を imitation するよう学習 - これにより real-world human data の behavioral fidelity と simulated robot data の manipulative diversity を統一モデルへ統合

4. どうやって有効だと検証した?

- simulation と real-world platform の両方で実験 - 3 種類の robot(ARX、PiPer、LocoMan)で検証 - 比較対象は state-of-the-art VLA の π0、π0.5、H-RDT - 結果として simulation で 25%、real-world robot control tasks で 14% の汎化性能改善を報告

5. 議論はある?

- 主張は human video と simulated robot data の統合による汎化向上 - camera view・visual appearance・embodiment morphology の不一致への対処が中心的論点 - ただし要旨からは、失敗事例、限界、計算コスト、データ依存性、実環境での安全性などに関する議論は不明 - 詳細な ablation や議論は要旨からは不明

6. 次に読むべき論文は?

- π0 - π0.5 - H-RDT - 関連する VLA 研究として OpenVLA などの一般名の VLA 手法 - human video を用いる imitation learning や cross-embodiment learning の関連研究(具体的名称は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenhan Yin, Xuanhan Wang, Jiahao Jiang, Kaiyuan Deng, Pengqi Chen, Shuangle Li, Chong Liu, Xing Xu, Jingkuan Song, Lianli Gao, Heng Tao Shen

分類: cs.RO, cs.CV

原文アブストラクト

While leveraging abundant human videos and simulated robot data poses a scalable solution to the scarcity of real-world robot data, the generalization capability of existing vision-language-action models (VLAs) remains limited by mismatches in camera views, visual appearance, and embodiment morphologies. To overcome this limitation, we propose MiVLA, a generalizable VLA empowered by human-robot mutual imitation pre-training, which leverages inherent behavioral similarity between human hands and robotic arms to build a foundation of strong behavioral priors for both human actions and robotic control. Specifically, our method utilizes kinematic rules with left/right hand coordinate systems for bidirectional alignment between human and robot action spaces. Given human or simulated robot demonstrations, MiVLA is trained to forecast behavior trajectories for one embodiment, and imitate behaviors for another one unseen in the demonstration. Based on this mutual imitation, it integrates the behavioral fidelity of real-world human data with the manipulative diversity of simulated robot data into a unified model, thereby enhancing the generalization capability for downstream tasks. Extensive experiments conducted on both simulation and real-world platforms with three robots (ARX, PiPer and LocoMan), demonstrate that MiVLA achieves strong improved generalization capability, outperforming state-of-the-art VLAs (e.g., $\boldsymbol{\pi}_{0}$, $\boldsymbol{\pi}_{0.5}$ and H-RDT) by 25% in simulation, and 14% in real-world robot control tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI