安全強化学習/VLA2026/6/1arXiv:2606.20698

SafeDojo: インタラクティブワールドモデルによるVLAのための安全強化学習

SafeDojo: Safe Reinforcement Learning for VLA via Interactive World Model

視覚言語行動(VLA)ポリシー向けに、ワールドモデルベースの想像を通じて安全な行動を学習する初のモデルベース安全強化学習フレームワークを提案。

詳しい要約

1. どんなもの？

- Vision-Language-Action (VLA) モデル向けの安全強化学習フレームワーク SafeDojo を提案 - 世界モデルベースの想像 (imagination) を通じて安全な行動を学習 - 対話型 video world model 上で online reinforcement learning を実行 - 実世界の embodied intelligence における安全制御を目指す

2. 先行研究と比べてどこがすごい？

- 既存の安全強化学習は実世界探索のコスト大または手作り安全関数に依存 - これらは open-world 物理環境の VLA にスケールしない - SafeDojo は初の VLA ポリシー向けモデルベース安全強化学習 - 推論時安全・model-free RL・model-based RL ベースライン中で最高性能

3. 技術・手法の肝は？

- 対話型 video world model が action-conditioned 未来予測を生成 - ResNet success classifier が想像フレームから per-step タスク進捗を推定 - 軽量 safety head が latent context と action chunk から per-step 安全コストを予測 - タスク報酬と安全コストを分離し Lagrangian-based constrained GRPO 目的でバランス

4. どうやって有効だと検証した？

- SafeLIBERO で評価し、集約タスク成功・安全成功・実行効率で最高 - 両レベルで平均 safe-success rate が最高、Level I で最強ベースライン比 8.25 ポイント改善 - 実世界 Franka 展開で 5 タスクの平均タスク・安全成功率が最高

5. 議論はある？

- 世界モデルベース安全強化学習がスケーラブルで汎化可能な安全 embodied intelligence への道筋と位置づけ - 具体的な限界や失敗事例、計算コスト、安全性保証の議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: 推論時安全手法、model-free RL、model-based RL、SafeLIBERO、Franka 展開 - 関連手法として safe reinforcement learning、vision-language-action models、world models、Lagrangian-based constrained GRPO が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kai Tang, Peidong Jia, Zhong Chu, Jixian Wu, Rui Ma, Jiajun Cao, Fangyuan Zhao, Sixiang Chen, Yichen Guo, Xiaowei Chi, Chun-Kai Fan, Kevin Zhang, Jinchang Xu, Fubing Yang, Weishi Mi, Xiaozhu Ju, Jian Tang, Shanghang Zhang

分類: cs.RO

原文アブストラクト

Safe control is a prerequisite for real-world embodied intelligence, for which safe reinforcement learning has emerged as a promising paradigm. However, existing safe reinforcement learning methods either require costly real-world exploration or depend on hand-crafted safety functions. Neither scales to vision-language-action models deployed in open-world physical environments. We propose SafeDojo, the first model-based safe reinforcement learning framework for vision-language-action policies designed to learn safe actions through world model-based imagination. Specifically, SafeDojo performs online reinforcement learning on top of an interactive video world model. The world model generates action-conditioned future predictions, from which a tailored ResNet success classifier estimates per-step task progress from imagined frames and a lightweight safety head predicts per-step safety costs from latent context together with the proposed action chunk, enabling simultaneous assessment of task execution and trajectory safety. The decoupled task-reward and safety-cost signals are balanced through a Lagrangian-based constrained GRPO objective, enabling coordinated improvement of task success and safety under explicit constraints. On SafeLIBERO, SafeDojo achieves the best aggregate task success, safe success, and execution efficiency among inference-time safety, model-free RL, and model-based RL baselines, with the best average safe-success rate on both levels and an 8.25 percentage-point improvement over the strongest baseline on Level I. Real-world Franka deployment further shows the best average task and safe-success rates across five tasks. Our results position world model-based safe reinforcement learning as a scalable and generalizable path toward safe embodied intelligence.

arXivで原文を読む →arXiv概要ページ

← 論文一覧