日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.07474

ForgeVLA: 言語アノテーションなしの連合視覚言語行動学習

ForgeVLA: Federated Vision-Language-Action Learning without Language Annotations

シェア:XThreadsFacebookLINEはてブBluesky

分散した視覚・行動ペアから、言語アノテーションやデータ集約なしにVLAモデルを学習する連合学習フレームワークを提案した。

詳しい要約

1. どんなもの?

- 分散したロボットから得られるvision-actionペアを用いて、中央集約や手動アノテーションなしにVLAモデルを訓練するfederated learningフレームワークForgeVLAを提案。 - 各クライアントがembodied instruction classifierでvision-actionペアを事前定義されたinstruction setにマッピングし、欠落した言語モダリティを復元してvision-language-action tripletsを構築。 - vision-language feature collapseを特定し、client-side contrastive planning lossとserver-side adaptive aggregation strategyで緩和。

2. 先行研究と比べてどこがすごい?

- 従来のVLAモデルは高コストなアノテーション付きデータに依存し、スケーリングが困難。 - 分散したvision-actionペアを活用するが、生データの中央集約が制約され、heterogeneityが大きい。 - 先行のfederated VLA研究では見過ごされがちなvision-language feature collapseに対処。 - 手動アノテーション不要で、分散データから効率的に学習可能。

3. 技術・手法の肝は?

- 各クライアントにembodied instruction classifierを搭載し、vision-actionペアをinstruction setに分類して言語ラベルを生成。 - client-side contrastive planning lossにより、タスク識別的な表現を学習。 - server-side adaptive aggregation strategyでクライアント間のheterogeneityに対応し、feature collapseを防止。 - これらを組み合わせ、中央集約なしでVLAモデルを訓練。

4. どうやって有効だと検証した?

- 複数のベンチマークで実験を行い、ForgeVLAが他のベースラインを大幅に上回る性能を示した。 - アブレーション研究により、各コンポーネントの貢献を検証。

5. 議論はある?

- vision-language feature collapseがfederated VLA研究で重要だが見過ごされてきた問題であると指摘。 - 提案手法でこの問題を緩和できることを示すが、他の課題や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてfederated learning、VLAモデル、contrastive learning、embodied instruction classificationが挙げられる。 - 同分野の定番として、RT-1、RT-2、Octo、OpenVLAなどのVLAモデルや、FedAvgなどのfederated learning手法が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhao Zhou, Yunpeng Zhu, Yang Zhou, Jindi Lyu, Jian Lan, Zhangyuan Wang, Dan Si, Thomas Seidl, Qing Ye, Jiancheng Lyu

分類: cs.CV, cs.AI

原文アブストラクト

Vision-Language-Action (VLA) models hold great promise for general-purpose robotic intelligence, yet scaling up such models is severely bottlenecked by the high cost of acquiring annotated training data. Fortunately, vision-equipped robots deployed across various domains already produce abundant vision-action pairs that can be leveraged to scale up VLA training more efficiently. However, these raw data cannot be centrally aggregated due to various constraints and also exhibit severe heterogeneity. To address these challenges, in this paper, we propose ForgeVLA, a federated VLA training framework that learns VLA models from distributed vision-action pairs without centralizing raw data or requiring manual annotations. Specifically, each client in ForgeVLA is equipped with an embodied instruction classifier that maps vision-action pairs to a predefined instruction set, recovering the missing language modality and forming complete vision-language-action triplets. Beyond triplet construction, we also identify vision-language feature collapse as a critical challenge that has been largely overlooked in prior federated VLA research. To mitigate this issue, ForgeVLA combines a client-side contrastive planning loss with a server-side adaptive aggregation strategy to learn task-discriminative representations efficiently. Extensive experiments across multiple benchmarks show that ForgeVLA significantly outperforms other baselines, and ablation studies further validate the contribution of each component.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI