日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.14659

NORA-1.5:世界モデルと行動に基づく選好報酬で訓練された視覚-言語-行動モデル

NORA-1.5: A Vision-Language-Action Model Trained using World Model- and Action-based Preference Rewards

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みNORAにフローマッチング行動エキスパートを追加し、世界モデルと正解からの逸脱を報酬とするDPOで事後学習することで、シミュレーションと実機の両方で信頼性と汎化性能を向上させたVLAモデル。

詳しい要約

1. どんなもの?

- 本論文は Vision-Language-Action (VLA) モデル **NORA-1.5** を提案する。 - 既存の pre-trained **NORA** backbone に **flow-matching** ベースの **action expert** を追加して構築。 - さらに **reward model** を用いた post-training により信頼性と汎化性能の向上を狙う。 - 異なる embodiment や実環境への展開を想定した embodied agent 向けモデル。

2. 先行研究と比べてどこがすごい?

- 先行の **NORA** および複数の state-of-the-art VLA モデルと比較。 - **flow-matching** ベースの **action expert** を追加するだけで、シミュレーション・実世界の両ベンチマークで性能向上。 - 単純な reward model による post-training で VLA の信頼性を改善できる点を示す。 - 具体的な数値比較は要旨からは不明。

3. 技術・手法の肝は?

- **NORA** backbone に **flow-matching** ベースの **action expert** を追加。 - post-training 用の reward model を構築し、2種類の信号を組み合わせる。 - (i) **action-conditioned world model (WM)**: 生成行動が目標に近づくかを評価。 - (ii) **deviation-from-ground-truth heuristic**: 良い行動と悪い行動を区別。 - これらの reward で preference dataset を構築し、**direct preference optimization (DPO)** で対象 embodiment に適応。

4. どうやって有効だと検証した?

- シミュレーションと実ロボットの両設定で評価を実施。 - **NORA** および複数の state-of-the-art VLA モデルとの比較で性能向上を確認。 - reward-driven post-training がシミュレーション・実ロボット双方で一貫して性能を改善することを示す。 - 具体的なベンチマーク名や指標は要旨からは不明。

5. 議論はある?

- reward-driven post-training により VLA の信頼性が向上し、実世界展開への道筋を示すと主張。 - 一方で、reward model の設計依存性や embodiment 間の汎化限界などの詳細な議論は要旨からは不明。 - 限界や失敗事例の分析も要旨からは不明。

6. 次に読むべき論文は?

- 本論文で比較対象の **NORA**。 - **flow-matching** に基づく action 生成手法(例: **diffusion policy** 系)。 - **direct preference optimization (DPO)** および preference-based post-training の関連研究。 - **action-conditioned world model** を用いた評価・計画の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chia-Yu Hung, Navonil Majumder, Haoyuan Deng, Liu Renhang, Yankang Ang, Amir Zadeh, Chuan Li, Dorien Herremans, Ziwei Wang, Soujanya Poria

分類: cs.RO, cs.AI

原文アブストラクト

Vision--language--action (VLA) models have recently shown promising performance on a variety of embodied tasks, yet they still fall short in reliability and generalization, especially when deployed across different embodiments or real-world environments. In this work, we introduce NORA-1.5, a VLA model built from the pre-trained NORA backbone by adding to it a flow-matching-based action expert. This architectural enhancement alone yields substantial performance gains, enabling NORA-1.5 to outperform NORA and several state-of-the-art VLA models across both simulated and real-world benchmarks. To further improve robustness and task success, we develop a set of reward models for post-training VLA policies. Our rewards combine (i) an action-conditioned world model (WM) that evaluates whether generated actions lead toward the desired goal, and (ii) a deviation-from-ground-truth heuristic that distinguishes good actions from poor ones. Using these reward signals, we construct preference datasets and adapt NORA-1.5 to target embodiments through direct preference optimization (DPO). Extensive evaluations show that reward-driven post-training consistently improves performance in both simulation and real-robot settings, demonstrating significant VLA model-reliability gains through simple yet effective reward models. Our findings highlight NORA-1.5 and reward-guided post-training as a viable path toward more dependable embodied agents suitable for real-world deployment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI