日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.06965

カメラロバストな視覚言語行動ポリシーのためのクロスビュー行動整合性

Cross-View Action Consistency for Camera-Robust Vision-Language-Action Policies

シェア:XThreadsFacebookLINEはてブBluesky

カメラ位置が変わっても動作が安定するよう、フローベースのVLAポリシーにクロスビュー損失を導入し、同一状態から異なる視点でレンダリングしたペアで行動フローの速度場を一致させる手法を提案。LIBEROベンチマークでカメラ摂動時の成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

本研究は、Vision-Language-Action (VLA) ポリシーのシーンカメラ視点に対するロバスト性を向上させる手法を提案する。固定カメラで微調整されたVLAポリシーは、カメラが移動すると性能が低下する問題に着目し、カメララベル、外部パラメータ、深度、点群を用いず、シーンRGB画像、言語、プロプリオセプションのみを用いて視点変化に対処する。手首ストリームをマスクし、フローベースのVLAに対して、アクションフロー速度場を正則化するクロスビュー損失を導入する。

2. 先行研究と比べてどこがすごい?

先行研究では、カメラ視点の変化に対するVLAポリシーのロバスト性が十分に扱われておらず、カメララベルや深度などの追加情報を必要とするものが多い。本研究は、追加のセンサ情報なしで、単一のシーンRGB画像のみを用いて視点ロバスト性を達成する点が新しい。また、フローマッチングに基づくVLAに対して、アクションフロー速度場の一致を促すクロスビュー損失を導入し、アクション等価なビューペアを構築する手法が独自性を持つ。

3. 技術・手法の肝は?

手法の核は、フローベースのVLAにおけるアクションフロー速度場の正則化である。具体的には、元のLIBEROデモを同じMuJoCo状態にリセットし、ノミナルと摂動したシーンカメラビューをレンダリングしてアクション等価なビューペアを構築する。両ビューをフローマッチングで教師し、サンプリングされたフロー座標で予測アクションフロー速度が一致するようにクロスビュー損失を課す。手首ストリームはマスクされ、視点変化の影響をシーンカメラに帰属させる。

4. どうやって有効だと検証した?

LIBERO-Plusカメラ摂動トラックで評価し、提案手法は87.2±0.4%の成功率(3シード、各シード4,797ロールアウト)を達成。フローマッチングのみの訓練(79.8±0.8%)より+7.4pp、ナイーブな混合カメラSFTより+12.5pp向上し、ノミナルカメラのID性能(95.0±0.8%)を維持。シャッフルペア制御は25.8%に低下し、アクション等価ペアリングの重要性を示す。実ロボットでは3つのテーブルトップタスクで各10ロールアウトを評価し、未見カメラでの成功率が53.3%から74.4%に改善。

5. 議論はある?

要旨からは、提案手法がフローベースのVLAに限定される可能性や、アクション等価ペアの構築にデモのリセットが必要である点が議論の余地として考えられる。また、実ロボット評価のロールアウト数が少ないことや、他のVLAアーキテクチャへの一般性については要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている研究として、LIBEROベンチマーク、フローマッチングに基づくVLA(例えば、Flow Matching for Policy Learning)、およびカメラロバスト性に関する関連研究が挙げられる。具体的には、LIBEROの元論文や、フローマッチングを用いた行動生成の手法を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bingqi Huang, Bingchuan Wei, Xuan Wang, Yingkai Cai, Zhaokui Wang

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) policies fine-tuned from a fixed scene camera can fail when the camera is moved, even when the task, objects, language, and robot state are unchanged. We study scene-camera viewpoint robustness using only a scene RGB image, language, and proprioception, without camera labels, extrinsics, depth, or point-cloud inputs. The wrist stream is masked throughout to prevent an unperturbed visual shortcut from confounding attribution to scene-camera variation. For flow-based VLAs, we propose to regularize the action-flow velocity field, the quantity directly integrated to generate continuous action chunks. We construct action-equivalent view pairs by resetting original LIBERO demonstrations to the same MuJoCo state and rendering nominal and perturbed scene-camera views. Both views are supervised by flow matching, while a cross-view loss encourages their predicted action-flow velocities to agree at the same sampled flow coordinates. On the LIBERO-Plus camera-perturbation track, our method reaches 87.2$\pm$0.4% (4,797 rollouts per seed across 3 training seeds), +7.4pp over flow-matching-only training on the same paired data (79.8$\pm$0.8%, also 3 seeds) and +12.5pp over naive mixed-camera SFT, while maintaining nominal-camera ID performance (95.0$\pm$0.8%; same-data FM-only: 95.0$\pm$4.3%). A shuffled-pair control collapses to 25.8%, showing that the gain depends on action-equivalent pairing. On a real robot, we evaluate three tabletop tasks with 10 rollouts per task and camera placement; held-out-camera success improves from 53.3% to 74.4% under the same single-scene-RGB inference interface.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI