日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/強化学習arXiv:2603.13925

SmoothVLA: 内在的滑らかさ最適化による物理的制約へのVLAモデル整合

SmoothVLA: Aligning Vision-Language-Action Models with Physical Constraints via Intrinsic Smoothness Optimization

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作のためのVLAモデルに対し、軌道の滑らかさを内在報酬として組み込んだ強化学習フレームワークを提案し、タスク性能と物理的実現性を両立させた。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルを対象とした強化学習ファインチューニングフレームワーク SmoothVLA を提案。 - タスク性能と動作の滑らかさを同時に最適化する。 - 物理制約に整合した安定かつ探索可能な制御を目指す。 - LIBERO benchmark で評価。

2. 先行研究と比べてどこがすごい?

- 既存の post-training は安定性と探索のジレンマに直面。 - Supervised Fine-Tuning (SFT) はデモ品質に制約され汎化が乏しい。 - Reinforcement Learning (RL) は探索を改善するが、ぎくしゃくした軌道を生み物理制約に反する。 - SmoothVLA は標準 RL より滑らかさで 13.8% 向上し、SFT より多様なタスクで汎化に優れる。

3. 技術・手法の肝は?

- physics-informed hybrid reward function を中核とする。 - binary sparse task reward と trajectory jerk に基づく連続 dense term を統合。 - 報酬は intrinsic で、policy rollouts から直接計算され、外部環境フィードバックや報酬設計を不要とする。 - Group Relative Policy Optimization (GRPO) を活用し、軌道の滑らかさを明示的な最適化 prior として確立。

4. どうやって有効だと検証した?

- LIBERO benchmark で広範な実験を実施。 - 標準 RL と比較して滑らかさが 13.8% 向上。 - SFT と比較して多様なタスクでの汎化性能が大幅に向上。 - 詳細な検証手法は要旨からは不明。

5. 議論はある?

- 安定性と探索のトレードオフを intrinsic reward で緩和する点を主張。 - 物理世界の制約への整合をスケーラブルに実現するアプローチと位置づけ。 - 限界や失敗事例、計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は?

- Group Relative Policy Optimization (GRPO) - Supervised Fine-Tuning (SFT) - Reinforcement Learning (RL) を用いた VLA モデルの post-training 研究 - LIBERO benchmark を利用したロボットマニピュレーション研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiashun Li, Xiaoyu Shi, Hong Xie, Mingsheng Shang, Yun Lu

分類: cs.RO, cs.AI

原文アブストラクト

Vision-Language-Action (VLA) models have emerged as a powerful paradigm for robotic manipulation. However, existing post-training methods face a dilemma between stability and exploration: Supervised Fine-Tuning (SFT) is constrained by demonstration quality and lacks generalization, whereas Reinforcement Learning (RL) improves exploration but often induces erratic, jittery trajectories that violate physical constraints. To bridge this gap, we propose SmoothVLA, a novel reinforcement learning fine-tuning framework that synergistically optimizes task performance and motion smoothness. The technical core is a physics-informed hybrid reward function that integrates binary sparse task rewards with a continuous dense term derived from trajectory jerk. Crucially, this reward is intrinsic, that computing directly from policy rollouts, without requiring extrinsic environment feedback or laborious reward engineering. Leveraging the Group Relative Policy Optimization (GRPO), SmoothVLA establishes trajectory smoothness as an explicit optimization prior, guiding the model toward physically feasible and stable control. Extensive experiments on the LIBERO benchmark demonstrate that SmoothVLA outperforms standard RL by 13.8\% in smoothness and significantly surpasses SFT in generalization across diverse tasks. Our work offers a scalable approach to aligning VLA models with physical-world constraints through intrinsic reward optimization.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI