日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.13103

カメラ空間で行動を接地する観測中心の視覚-言語-行動ポリシー

Grounding Actions in Camera Space: Observation-Centric Vision-Language-Action Policy

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの手先姿勢をロボット基準座標系ではなくカメラ座標系で予測するOC-VLAを提案し、視点変化への汎化とタスク成功率を改善した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルにおける観測空間と行動空間の不一致を扱う研究 - 行動予測を robot base coordinate frame ではなく camera observation space に直接接地する Observation-Centric VLA (OC-VLA) フレームワークを提案 - 軽量で plug-and-play な手法として位置づけ - シミュレーションと実世界のロボットマニピュレーションタスクで評価

2. 先行研究と比べてどこがすごい?

- 従来の VLA は多様な camera perspective のデータで学習しても end-effector pose を robot base coordinate frame で予測し、空間的不整合が生じていた - OC-VLA は予測ターゲットを camera coordinate system に統一し、heterogeneous viewpoints 間の一貫性を確保 - 既存 VLA アーキテクチャに大きな変更を要さず適用可能 - camera viewpoint 変動への頑健性と cross-view generalization の改善を主張

3. 技術・手法の肝は?

- camera の extrinsic calibration matrix を利用 - end-effector pose を robot base coordinate system から camera coordinate system へ変換 - これにより観測と行動の予測ターゲットを同一の camera space 上で整合 - 軽量かつ plug-and-play で既存 VLA に組み込み可能 - 詳細なネットワーク構成や学習手順は要旨からは不明

4. どうやって有効だと検証した?

- シミュレーションおよび実世界のロボットマニピュレーションタスクで包括的に評価 - 収束の加速、タスク成功率の向上、cross-view generalization の改善を確認したと報告 - 具体的なタスク設定・比較手法・指標の詳細は要旨からは不明

5. 議論はある?

- camera extrinsic calibration matrix への依存があり、キャリブレーション誤差の影響は要旨からは不明 - 多様な camera viewpoint への頑健性を主張するが、極端な視点変化や未知視点での限界は要旨からは不明 - 実世界評価の規模やタスク多様性の詳細は要旨からは不明 - code は公開予定と記載

6. 次に読むべき論文は?

- 比較対象として明示された先行 VLA 研究は要旨からは不明 - 関連手法として Vision-Language-Action (VLA) モデル全般、end-effector pose を robot base coordinate frame で予測する従来手法、camera extrinsic calibration を用いる手法 - 同分野の定番として RT-1、RT-2、OpenVLA などの VLA 研究を次に読む候補として挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianyi Zhang, Haonan Duan, Haoran Hao, Yu Qiao, Jifeng Dai, Zhi Hou

分類: cs.RO, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models frequently encounter challenges in generalizing to real-world environments due to inherent discrepancies between observation and action spaces. Although training data are collected from diverse camera perspectives, the models typically predict end-effector poses within the robot base coordinate frame, resulting in spatial inconsistencies. To mitigate this limitation, we introduce the Observation-Centric VLA (OC-VLA) framework, which grounds action predictions directly in the camera observation space. Leveraging the camera's extrinsic calibration matrix, OC-VLA transforms end-effector poses from the robot base coordinate system into the camera coordinate system, thereby unifying prediction targets across heterogeneous viewpoints. This lightweight, plug-and-play strategy ensures robust alignment between perception and action, substantially improving model resilience to camera viewpoint variations. The proposed approach is readily compatible with existing VLA architectures, requiring no substantial modifications. Comprehensive evaluations on both simulated and real-world robotic manipulation tasks demonstrate that OC-VLA accelerates convergence, enhances task success rates, and improves cross-view generalization. The code will be publicly available.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI