カメラ座標系でロボット動作を統一する

- カメラ座標系でロボットの行動を統一する表現を提案する研究。 - camera extrinsics を用いて、単腕・双腕を含む異なる embodiment 間で一貫した幾何的意味を持つ action 表現を実現。 - 既存データセットの camera extrinsic 未注釈問題に対応するため、CalibAll という training-free で robot-independent な注釈パイプラインも提案。 - 16 データセット・4 robot platforms に適用し、約 97K episodes の校正済みデータを生成。

- 既存の action 表現は platform 固有の不整合を抱え、embodiment-specific action heads や latent action spaces では根本的な不一致を解消できなかった。 - 本研究は camera frame に基づく幾何的に一貫した action 表現でこの不一致に正面から対処。 - 既存の offline calibration は local minima や robot 固有の training data を必要とする問題があったが、CalibAll は training-free かつ robot-independent。 - 下流の simulation・real-robot 実験で cross-embodiment pretraining が state-of-the-art 性能を達成。

- camera extrinsics を用いて action を camera frame に変換し、embodiment 間で一貫した幾何的意味を付与。 - CalibAll は coarse-to-fine の校正戦略を採用。 - まず temporal PnP で安定した初期化を取得。 - 続いて differentiable rendering ベースの refinement で高精度化。 - extrinsics に加え、標準化された TCP-pose actions と補助注釈も生成。 - 異種ロボットの action を標準化された camera-frame actions に変換する注釈パイプラインとして機能。

- CalibAll を 4 robot platforms・16 datasets に適用し、約 97K の校正済み data episodes を生成。 - 下流の simulation 実験および real-robot 実験を実施。 - camera-frame actions を用いた cross-embodiment pretraining が state-of-the-art 性能を達成することを示した。 - 個々の校正精度の定量指標など詳細は要旨からは不明。

- 既存データセットに camera extrinsic 注釈が乏しい点を課題として明示し、CalibAll で補完するアプローチを提示。 - 既存 offline calibration の local minima や robot 固有 training data 依存という限界を議論。 - camera frame 統一により embodiment 間の幾何的一貫性が得られる一方、校正誤差や対象 platform の一般性に関する詳細な議論は要旨からは不明。

- 要旨で直接参照・比較されている具体的な先行研究名は記載なし。 - 関連手法として、camera extrinsics を用いる calibration 手法、temporal PnP、differentiable rendering ベースの refinement、latent action space 学習、embodiment-specific action heads に関する研究を挙げて追うのが有用。 - cross-embodiment robot learning の定番として、RT-1/RT-2 系や Open X-Embodiment などの大規模データセット・基盤モデル研究も参照候補。