多視点統一カメラ場：RGBのみの多カメラVLAポリシーのための幾何学的形状の行動指向表現

本論文は、RGBのみのマルチカメラVision-Language-Action (VLA)モデルのためのトレーニング専用フレームワークであるMulti-View Unified Camera Fields (MVUCF)を提案する。複数カメラの観測を統合し、共有されたアクション指向の潜在フィールドを形成することで、エンドエフェクタ、物体、ターゲットの同時捕捉とオクルージョン下でのロバストな操作を実現する。座標クエリによる深度目的関数と前処理対応の対応目的関数を導入し、メトリック深度の回復とクロスビュー整合を強化する。推論時には深度やカメラキャリブレーション、補助ヘッドを除去し、元のRGBのみのグラフで追加のFLOPなしでデプロイ可能。

既存のマルチカメラVLAはビュートークンを単純に連結し、アクション表現がメトリック深度に弱く、カメラ間で一貫性がない。MVUCFは、トレーニング中にジオメトリ情報を直接アクションモジュールが消費する隠れ状態に注入することで、これらの問題を解決する。先行研究と比べ、推論時の追加コストなしで深度回復とクロスビュー対応を強化する点が新しい。

MVUCFは、座標クエリ深度目的関数（coordinate-query depth objective）によりメトリック深度を回復可能にし、前処理対応の対応目的関数（preprocessing-aware correspondence objective）により異なるカメラから同じ物理点を観測するトークンを整合させる。これらの目的関数は、アクションモジュールが使用する隠れ状態を直接整形する。ジオメトリ注入後、深度、カメラキャリブレーション、補助ヘッドは除去され、デプロイは元のRGBのみのグラフを使用する。

検証は、保持プローブ（held-out probes）で深度回復とクロスビュー整合の強化を確認。GR00T-N1.6設定でLIBEROで98.9%、LIBERO-Plusで22.4ポイント改善、6つのRoboTwinタスク（接触、移動配置、接触インタラクションの3アクションファミリー）で成功率を23.3ポイント向上。さらに実世界のヒューマノイド実験でRGBのみのデプロイでの実用性を実証。

要旨からは、MVUCFの限界や潜在的な欠点についての議論は不明。ただし、トレーニング専用フレームワークであるため、推論時の追加コストがない利点がある一方、トレーニング時の複雑な目的関数の調整が必要かもしれない。また、実世界実験はヒューマノイドに限定されており、他のロボット形態への一般性は要旨からは不明。

要旨で参照されているGR00T-N1.6、LIBERO、LIBERO-Plus、RoboTwin、および関連するVLAモデルやマルチカメラ表現学習の研究が挙げられる。具体的には、Vision-Language-Actionモデルの基盤となる研究や、マルチカメラの視点統合手法、深度推定の自己教師あり学習などが関連する。