日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.17486

DyGRO-VLA: 動的グループ化残差最適化による視覚言語行動モデルのクロスタスクスケーリング

DyGRO-VLA: Cross-Task Scaling of Vision-Language-Action Models via Dynamic Grouped Residual Optimization

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルの汎用性を高めるため、情報理論に基づくクロスタスク表現学習と動的残差最適化を組み合わせた二段階最適化フレームワークを提案した。

詳しい要約

1. どんなもの?

- 本研究は、Vision-Language-Action (VLA) モデルの強化学習 (RL) 最適化におけるタスク特化性の問題を解決するため、クロスタスク特徴表現の重要性を分析し、DyGRO-VLA を提案する。 - DyGRO-VLA は、情報理論に基づくクロスタスク潜在表現の獲得と、mixture-of-RL-residuals による動的なポリシー最適化の2段階からなるフレームワークである。 - これにより、RL 最適化がタスク関連の潜在情報を活用しつつ、学習済み表現への悪影響を軽減することを目指す。 - LIBERO、RoboTwin2 ベンチマークおよび実世界で評価し、マルチタスク訓練と分布シフト下で一貫した改善を示した。

2. 先行研究と比べてどこがすごい?

- 従来の RL 最適化手法はタスク特化型が多く、VLA モデルを汎用コントローラから狭いタスクに過適合したポリシーに変えてしまう問題があった。 - 本研究は、クロスタスク特徴表現の重要性を強調し、それを情報理論に基づいて効果的に捉えることで、汎化性能を向上させる点が新しい。 - また、mixture-of-RL-residuals により、最適化過程での表現への悪影響を戦略的に軽減する点も先行研究にない特徴である。 - 結果として、マルチタスク訓練と分布シフト下で強力なベースラインを一貫して上回る性能を達成した。

3. 技術・手法の肝は?

- 2段階の最適化フレームワークを採用。 - 第1段階では、情報理論の原理に基づき、クロスタスク潜在表現を効果的に獲得する。 - 第2段階では、mixture-of-RL-residuals を用いてポリシー最適化を動的に洗練する。 - これにより、RL オプティマイザがタスク関連の潜在情報を活用しつつ、学習済み表現への干渉を軽減する。 - 具体的なアルゴリズムやネットワーク構造の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- LIBERO ベンチマークと RoboTwin2 ベンチマークで評価を実施。 - さらに実世界環境でも検証。 - マルチタスク訓練と分布シフトの条件下で、強力なベースラインと比較して一貫した改善を確認。 - 具体的な評価指標や実験設定の詳細は要旨からは不明。

5. 議論はある?

- 本研究では、RL 最適化がタスク特化型になる現象を分析し、クロスタスク特徴表現の重要性を指摘。 - DyGRO-VLA がその問題を緩和することを示したが、限界や課題については要旨からは不明。 - 今後の議論として、他のベンチマークやタスクへの適用可能性、計算コストなどが考えられるが、要旨では言及されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法として Vision-Language-Action (VLA) モデル、Reinforcement Learning (RL) 最適化、mixture-of-experts、情報理論に基づく表現学習などが挙げられる。 - 同分野の定番として、RT-1、RT-2、Octo、OpenVLA などの VLA モデルや、PPO、SAC などの RL アルゴリズムが参考になる。 - また、LIBERO や RoboTwin2 ベンチマークの原論文も次に読むべき候補である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sixu Lin, Yunpeng Qing, Litao Liu, Ming Zhou, Ruixing Jin, Xiaoyi Fan, Guiliang Liu

分類: cs.RO, cs.LG

原文アブストラクト

Recent progress in Reinforcement Learning (RL) provides a principled approach to optimizing Vision-Language-Action (VLA) models, facilitating a shift from trajectory imitation to active learning in the task environment. Despite improvements in control precision, most RL optimizers remain task-specific, which reduces VLA models from generalist controllers to policies that overfit to a narrow set of tasks. In this study, we conduct an in-depth analysis of this phenomenon and highlight the importance of cross-task feature representations for improving the generalizability of VLA models. Motivated by this finding, we introduce DyGRO-VLA, a two-stage optimization framework that 1) effectively captures cross-task latent representations based on information-theoretic principles, and 2) dynamically refines policy optimization via a mixture-of-RL-residuals. DyGRO-VLA enables the RL optimizer to exploit task-relevant latent information while strategically mitigating adverse interference on the learned representations throughout the optimization process. We evaluate our approach on LIBERO, RoboTwin2 benchmarks, and further validate it on real world, demonstrating consistent improvements over strong baselines under multi-task training and distribution shift.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI