日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.23565

MaskVLA: 視覚マスキングによるVision-Language-Actionモデルの軌道過学習の抑制

MaskVLA: Visual Masking Against Trajectory Overfitting of Vision-Language-Action Model

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの微調整時にメインカメラの視覚情報をランダムに一部マスクすることで、手首カメラ情報の活用を促し、軌道過学習を防いで汎化性能とタスク成功率を向上させる手法を提案。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの微調整における軌道過学習を防ぐ手法。 - メインカメラの視覚情報をランダムにマスクする MaskVLA を提案。 - 手首カメラ情報の活用を促し、汎化性能を向上させる。

2. 先行研究と比べてどこがすごい?

- 既存 VLA モデルは限られたデータで微調整すると軌道過学習が深刻。 - 提案手法はマスキングにより細粒度でタスク関連の視覚特徴を自律学習。 - ロバストなポリシーが創発し、複雑な操作タスクと汎化性能が改善。

3. 技術・手法の肝は?

- メインカメラの視覚情報の一部をランダムにマスクする微調整戦略。 - モデルが手首カメラ情報を効果的に利用するよう誘導。 - これによりタスク関連の有効な視覚特徴を自律的に学習。

4. どうやって有効だと検証した?

- RoboTwin 2.0 で包括的に評価。 - π0 と OpenVLA-OFT と比較し、平均成功率がそれぞれ 23.2% と 16.8% 向上。 - 実世界の ALOHA ロボットでも有効性を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- π0 - OpenVLA-OFT - RoboTwin 2.0 - ALOHA

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuxuan Jiang, Jiaying Huang, Ge Wang, Shenhao Yan, Jiahao Yang, Chengsi Yao, Qi Liu, Qing Zhao, Shuguang Cui, Yiming Zhao, Yatong Han, Zhen Li

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models integrate vision-language understanding with executable robot actions, enabling end-to-end learning for robot control. However, our empirical analysis reveals that existing models exhibit severe trajectory overfitting when finetuned on limited datasets. To guide the model in effectively utilizing wrist camera information, we propose MaskVLA, a masking-based fine-tuning strategy. By randomly masking a small portion of the main camera's visual information, the model is guided to autonomously learn more fine-grained, task-relevant, and effective visual features. This process leads to the emergence of robust policies, thereby enhancing the model's capability to tackle complex manipulation tasks and improving its generalization performance. Our method has been comprehensively evaluated on RoboTwin 2.0, achieving an average success rate improvement of 23.2% and 16.8% compared to $π_0$ and OpenVLA-OFT, respectively. Furthermore, experiments on real-world ALOHA robots also demonstrate the effectiveness of our approach.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI