日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.02190

FedVLA: 二重ゲーティングMoEによる連合視覚言語行動学習

FedVLA: Federated Vision-Language-Action Learning with Dual Gating Mixture-of-Experts for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

データプライバシーを守りつつ分散学習する初の連合VLAフレームワークを提案し、指示に基づくシーン解析と二重ゲーティングMoE、専門家駆動型集約で効率的なロボットマニピュレーションを実現した。

詳しい要約

1. どんなもの?

- 提案: FedVLA は federated learning で VLA (Vision-Language-Action) モデルを分散学習する枠組み - 目的: 大規模なユーザ固有データの privacy/security 懸念に対処しつつ manipulation 性能を維持 - 構成要素: Instruction Oriented Scene-Parsing、Dual Gating Mixture-of-Experts (DGMoE)、Expert-Driven Aggregation - 主張: 初の federated VLA learning framework と位置づけ

2. 先行研究と比べてどこがすごい?

- 先行 VLA は大規模なユーザ固有データ依存で privacy/security 懸念が普及の制約 - FedVLA は federated learning を VLA に導入し、データを共有せず分散学習 - 性能面: 中央集権型学習と同等の task success rate を達成しつつ privacy を保持 - 効率面: DGMoE が vanilla の Mixture-of-Experts より計算効率を大きく改善 - ただし具体的な比較対象・数値は要旨からは不明

3. 技術・手法の肝は?

- Instruction Oriented Scene-Parsing: タスク指示に基づき object-level 特徴を分解・強化し文脈理解を改善 - Dual Gating Mixture-of-Experts (DGMoE): input tokens と self-aware experts の双方が適応的に activation を決定 - Expert-Driven Aggregation: federated server で activated experts に基づきモデル集約を誘導し cross-client 知識転移を狙う - 全体として task-aware representation learning と adaptive expert selection を統合

4. どうやって有効だと検証した?

- Extensive simulations と real-world robotic experiments を実施 - DGMoE の計算効率を vanilla counterpart と比較し有意な改善を報告 - FedVLA の task success rate が centralized training と同等であることを確認 - データ privacy 保持の有効性を主張 - 具体的なタスク・データセット・被験者数などは要旨からは不明

5. 議論はある?

- 主張: privacy を保ちつつ centralized 相当の性能と DGMoE による効率改善を両立 - 限界・課題: 通信コスト、client 間データ heterogeneity、スケーラビリティへの言及は要旨からは不明 - 評価の詳細 (ベースライン、統計的有意性、実機タスクの範囲) は要旨からは不明 - セキュリティ面は privacy 保持の主張に留まり、攻撃耐性の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照/比較されているのは vanilla Mixture-of-Experts と centralized training のみ - 関連して読むべき候補: VLA モデルの代表的手法 (RT-2 等)、federated learning の基礎 (FedAvg 等)、Mixture-of-Experts の gating 研究 - 具体的な論文名は要旨に記載がないため、上記は同分野の一般名としての提示

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Cui Miao, Tao Chang, Meihan Wu, Hongbin Xu, Chun Li, Ming Li, Xiaodong Wang

分類: cs.RO, cs.AI

原文アブストラクト

Vision-language-action (VLA) models have significantly advanced robotic manipulation by enabling robots to interpret language instructions for task execution. However, training these models often relies on large-scale user-specific data, raising concerns about privacy and security, which in turn limits their broader adoption. To address this, we propose FedVLA, the first federated VLA learning framework, enabling distributed model training that preserves data privacy without compromising performance. Our framework integrates task-aware representation learning, adaptive expert selection, and expert-driven federated aggregation, enabling efficient and privacy-preserving training of VLA models. Specifically, we introduce an Instruction Oriented Scene-Parsing mechanism, which decomposes and enhances object-level features based on task instructions, improving contextual understanding. To effectively learn diverse task patterns, we design a Dual Gating Mixture-of-Experts (DGMoE) mechanism, where not only input tokens but also self-aware experts adaptively decide their activation. Finally, we propose an Expert-Driven Aggregation strategy at the federated server, where model aggregation is guided by activated experts, ensuring effective cross-client knowledge transfer.Extensive simulations and real-world robotic experiments demonstrate the effectiveness of our proposals. Notably, DGMoE significantly improves computational efficiency compared to its vanilla counterpart, while FedVLA achieves task success rates comparable to centralized training, effectively preserving data privacy.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI