日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.37150

CoRe-VLA: カメラシフト下での視点間協調を維持するVLAフレームワーク

CoRe-VLA: Preserving Cross-View Coordination in VLAs under Camera Shifts

シェア:XThreadsFacebookLINEはてブBluesky

カメラ視点がずれてもVLAの性能を保つため、シーン点群を再構成して学習時視点の画像を再描画するプラグアンドプレイ手法を提案。

詳しい要約

1. どんなもの?

- VLA (Vision-Language-Action) モデルは、事前学習した視覚言語表現と行動生成を組み合わせ、言語誘導の制御を可能にする具現化知能の主流パラダイム。 - しかしカメラシフト下でタスク成功率が大幅に低下する脆弱性が報告されている。 - 本論文は、外部カメラシフト下での『cross-view coordination breakdown』を特定:グローバル視点を失うと、ロボットが wrist-view の手がかりに過度に依存し、サブタスクを誤った順序で実行する可能性がある。 - これを解決するため、CoRe-VLA を提案。追加の多視点データ収集や VLA ファインチューニングを必要とせず、既存の VLA に組み込める plug-and-play フレームワーク。 - シーンの点群を再構成し、VLA の学習視点から観測をレンダリングすることで cross-view coordination を回復する。

2. 先行研究と比べてどこがすごい?

- 既存手法は、同一シーンを異なる視点から撮影したペア観測を収集し、VLA をファインチューニングするか、視覚適応モジュールを訓練する。 - これらは追加のデータ収集と VLA 訓練コストを必要とする。 - 対して CoRe-VLA は、追加の多視点データ収集も VLA ファインチューニングも不要で、既存の VLA に組み込める plug-and-play フレームワークである点が異なる。 - また、外部カメラシフト下での『cross-view coordination breakdown』という問題を新たに特定した点も貢献。

3. 技術・手法の肝は?

- シーンの点群を再構成し、VLA の学習視点から観測をレンダリングすることで cross-view coordination を回復する。 - Render-to-Camera (R2C) Restoration により、レンダリングに起因する視覚的劣化を低減する。 - Execution-Trajectory-Conditioned Alignment (ETCA) により、非同期実行中のロボットのアイドル時間を削減し、動作の競合を緩和する。 - 追加の多視点データ収集や VLA ファインチューニングを必要としない plug-and-play 設計。

4. どうやって有効だと検証した?

- 5 つの実ロボットタスク、LIBERO-100、LIBERO-Plus で実験を実施。 - カメラシフト下で主流の VLA のタスク成功率を大幅に改善することを示した。 - 例として、実ロボット環境で 1.6m のカメラシフト時、PI0.5 の成功率を 13.3% から 83.3% に向上させた。

5. 議論はある?

- 要旨からは不明。 - ただし、既存手法が追加データ収集と VLA 訓練コストを要するのに対し、本手法はそれらを不要とする点が利点として述べられている。 - カメラシフト下での cross-view coordination breakdown という問題の特定と、その解決策の有効性が主張されている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:既存の VLA ファインチューニング手法、視覚適応モジュール訓練手法。 - 具体的な論文名は要旨からは不明。 - 関連手法として、PI0.5、LIBERO-100、LIBERO-Plus が挙げられている。 - 同分野の定番として、Vision-Language-Action (VLA) モデル全般、RT-1、RT-2、OpenVLA などが考えられるが、要旨での直接参照はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianhang Pan, Xuanhao Wang, Yiwen Pang, Bo Zhou, Jun Yang, Min-Ling Zhang, Shimin Di

分類: cs.RO

原文アブストラクト

VLAs combine pretrained vision-language representations with action generation to enable language-guided control across diverse tasks, becoming a mainstream paradigm in embodied intelligence. However, multiple studies have reported VLA's substantial declines in task success under camera shifts, revealing a key vulnerability that limits reliable deployment. To address this vulnerability, existing methods collect paired observations of the same scene from different viewpoints to fine-tune the VLA or train visual adaptation modules. Unfortunately, they require additional data collection and VLA training costs. In this paper, we first identify \emph{cross-view coordination breakdown} under external camera shifts: the robot may rely too heavily on wrist-view cues and consequently execute subtasks in the wrong order when losing global view. Motivated by this, we propose CoRe-VLA, a plug-and-play framework requiring neither additional multi-view data collection nor VLA fine-tuning, which can incorporate with exsiting VLAs. It reconstructs a scene point cloud and renders the observation from the VLA's training viewpoint to restore cross-view coordination. In CoRe-VLA, Render-to-Camera (R2C) Restoration reduces rendering-induced visual degradation, while Execution-Trajectory-Conditioned Alignment (ETCA) reduces robot idle time and mitigates motion conflicts during asynchronous execution. Experiments on 5 real-robot tasks, LIBERO-100 and LIBERO-Plus demonstrate CoRe-VLA substantially improves task success across mainstream VLAs under camera shifts. For example, CoRe-VLA raises PI0.5's success rate from 13.3% to 83.3% at a 1.6m camera shift in real-robot environment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI