日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2510.02268

カメラ外部パラメータ条件付けによる視点不変な模倣学習

Do You Know Where Your Camera Is? View-Invariant Policy Learning with Camera Conditioning

シェア:XThreadsFacebookLINEはてブBluesky

カメラの外部パラメータを条件として与えることで、視点が変化しても汎化する模倣学習ポリシーを実現し、背景手がかりへの依存を解消する手法を提案。

詳しい要約

1. どんなもの?

- カメラ外部パラメータ(camera extrinsics)を明示的に条件付けした view-invariant な imitation learning の研究。 - 各ピクセルの ray を Plucker embeddings で表現し、policy への入力条件として与える。 - 対象は ACT、Diffusion Policy、SmolVLA などの標準的な behavior cloning 系 policy。 - 評価用に RoboSuite と ManiSkill 上で6つの manipulation タスクを新規に構築。 - 「fixed」と「randomized」のシーン変種を対にして、背景手がかりと camera pose を切り離す設計。

2. 先行研究と比べてどこがすごい?

- 従来の behavior cloning 系 policy は、固定シーンでは静的背景の視覚手がかりから camera pose を推測してしまう傾向があった。 - 本研究は extrinsics 条件付けにより、workspace の geometry や camera 配置が変化しても性能を維持できることを示す。 - 背景手がかりと camera pose を分離した fixed/randomized 対のタスク設計により、この shortcut の崩壊を明確に分析できる点が新しい。 - depth なしの RGB のみで堅牢な制御を実現。

3. 技術・手法の肝は?

- policy を camera extrinsics で条件付けする枠組みを採用。 - 各ピクセルに対応する ray を Plucker embeddings に変換して入力に用いる。 - ACT、Diffusion Policy、SmolVLA といった標準 behavior cloning policy に適用可能な汎用的条件付け。 - fixed と randomized のシーン変種を対比させ、背景 cue と camera pose を切り離して評価するタスク設計が手法の肝の一つ。

4. どうやって有効だと検証した?

- RoboSuite と ManiSkill 上に6つの manipulation タスクを構築し、fixed/randomized の対で評価。 - ACT、Diffusion Policy、SmolVLA について、extrinsics 条件付けあり/なしを比較。 - extrinsics 条件付けにより viewpoint 間の generalization が有意に改善することを示す。 - 条件付けなしの policy は固定シーンの背景手がかりに依存し、geometry や camera 配置の変化で性能が崩壊することを分析。 - 条件付けありは RGB のみ(depth なし)で堅牢な制御を達成。

5. 議論はある?

- 固定シーンでは policy が静的背景から camera pose を推測する shortcut を学習しうる点を指摘。 - この shortcut は workspace geometry や camera placement の変化で崩壊する。 - extrinsics 条件付けがこの問題を緩和し、RGB のみでの堅牢性を回復する。 - 具体的な限界や失敗ケース、計算コストなどの詳細は要旨からは不明。

6. 次に読むべき論文は?

- ACT(behavior cloning 系 policy) - Diffusion Policy - SmolVLA - Plucker embeddings を用いた ray 表現に関する研究 - RoboSuite および ManiSkill 上の関連 manipulation ベンチマーク

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianchong Jiang, Jingtian Ji, Xiangshan Tan, Jiading Fang, Anand Bhattad, Vitor Guizilini, Matthew R. Walter

分類: cs.RO, cs.CV

原文アブストラクト

We study view-invariant imitation learning by explicitly conditioning policies on camera extrinsics. Using Plucker embeddings of per-pixel rays, we show that conditioning on extrinsics significantly improves generalization across viewpoints for standard behavior cloning policies, including ACT, Diffusion Policy, and SmolVLA. To evaluate policy robustness under realistic viewpoint shifts, we introduce six manipulation tasks in RoboSuite and ManiSkill that pair "fixed" and "randomized" scene variants, decoupling background cues from camera pose. Our analysis reveals that policies without extrinsics often infer camera pose using visual cues from static backgrounds in fixed scenes; this shortcut collapses when workspace geometry or camera placement shifts. Conditioning on extrinsics restores performance and yields robust RGB-only control without depth. We release the tasks, demonstrations, and code at https://ripl.github.io/know_your_camera/ .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI