日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.05396

固定カメラから自由カメラへ:キャリブレーション不要の視点ロバストな視覚言語行動モデル

From Fixed to Free Cameras: Calibration-Free View-Robust Vision-Language-Action Model

シェア:XThreadsFacebookLINEはてブBluesky

カメラの位置が変わっても、その位置情報を明示的に与えずにロボットが自分で視点を推定して操作できる新しいVLAモデルを提案した。カメラ中心の動作予測と手と目の関係行列の予測を組み合わせ、単眼RGB画像だけで多様な視点で成功率を向上させる。

詳しい要約

1. どんなもの?

CamVLAは、カメラの外部パラメータ(キャリブレーション)を必要とせず、単眼RGB画像とタスク指示のみで動作する視点ロバストなVision-Language-Action (VLA)モデル。カメラ中心のエンドエフェクタ動作と、カメラとロボットベース間の6-DoFハンドアイ行列を予測し、幾何学的変換でベースフレーム動作を合成する。

2. 先行研究と比べてどこがすごい?

既存の視点ロバストVLAはカメラ外部パラメータを明示的に必要とし、カメラ変更時に脆弱。CamVLAはキャリブレーション不要で、ポリシーがカメラ位置を自己推定する点が新しい。

3. 技術・手法の肝は?

手法の肝は、動作生成をカメラ中心のローカルフレームで行い、カメラとロボットベースの関係をハンドアイ行列として予測し、決定的な幾何学的変換で統合する点。これにより、カメラ姿勢に依存しない動作生成と、カメラ視点の幾何学的接地を分離。

4. どうやって有効だと検証した?

シミュレーションと実世界のロボットデータで、多様な未見視点に対する成功率を評価し、CamVLAが一貫して成功率を向上させることを示した。

5. 議論はある?

要旨からは、深度情報や複数視点を必要としない利点が述べられるが、単眼RGBのみの制約や、ハンドアイ行列の推定精度が動作に与える影響など、詳細な議論は不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、Vision-Language-Actionモデル(例:RT-2、OpenVLA)や、カメラキャリブレーション不要のロボット制御手法(例:手眼キャリブレーション)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenhao Li, Xueying Jiang, Quanhao Qian, Deli Zhao, Shijian Lu, Gongjie Zhang, Ran Xu

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

Real-world robot deployment rarely maintains the training-stage camera setup, where cameras often experience repositioning or remounting depending on actual scenarios. Existing view-robust Vision-Language-Action (VLA) policies tolerate such camera variations only when the camera extrinsics are explicitly provided, making them fragile and hard to use especially when view robustness is critical. We argue that the policy should not be told where the camera is, but rather figure it out by itself. To this end, we introduce Camera-Centric VLA (CamVLA), a new VLA model that decouples manipulation controls from camera geometry by predicting (i) a camera-centric end-effector action expressed in the local camera frame, and (ii) a 6-DoF hand-eye matrix relating cameras to the robot base. A deterministic geometric transformation composes the two predictions into a robot base-frame action. This disentangles how I should move in pose-independent camera-centric action generation from where I am looking from in camera-perspective geometric grounding. The resulting policy is calibration-free, depth-free, and single-view, requiring only a single monocular RGB image as the visual observation and task instruction at deployment. Evaluations in both simulation and real-world robot data show that CamVLA consistently improves success rates across diverse unseen viewpoints. Project page: https://alibaba-damo-academy.github.io/CamVLA/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI