日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.11719

ロボットマニピュレーションにおけるゼロショット視覚汎化

Zero-Shot Visual Generalization in Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚環境の変化に頑健なマニピュレーションポリシーを実現するため、もつれ解消表現学習と連想記憶を複雑なタスクに拡張し、模倣学習や回転不変性も導入してゼロショット適応を実証した。

詳しい要約

1. どんなもの?

- 視覚ベースのロボットマニピュレーション政策において、多様な視覚環境への頑健性(visual generalization)を実現する研究。 - disentangled representation learning と associative memory を、より視覚的・動的に複雑な manipulation タスクへスケールアップ。 - simulation と実機の両方で visual perturbation に対する zero-shot 適応性を実証。 - imitation learning(特に Diffusion Policy)へ拡張し、視覚的一般化の向上を示す。 - model equivariance 文献に着想を得た手法で、任意の学習済み政策を 2D 平面回転不変にする新技術を導入。

2. 先行研究と比べてどこがすごい?

- 既存手法は point clouds や depth などの不変表現に依存するか、visual domain randomization や大規模で視覚的に多様なデータセットで力任せに一般化する傾向があった。 - disentangled representation learning と associative memory は視覚分布シフトへの頑健性を示していたが、より単純な benchmark や toy 環境に限定されていた。 - 本研究はこれらを視覚的・動的に複雑な manipulation タスクへスケールし、simulation と実機で zero-shot 適応を示した点が新しい。 - さらに imitation learning(Diffusion Policy)へ拡張し、state-of-the-art の imitation learning 手法と比較して視覚的一般化で大きな改善を示した。 - 任意の学習済み政策を 2D 平面回転不変にする新手法を導入し、カメラ摂動への耐性も付与した点が先行研究と異なる。

3. 技術・手法の肝は?

- disentangled representation learning と associative memory の原理を組み合わせた視覚ベース強化学習政策を、複雑な manipulation タスクへスケール。 - 同アプローチを imitation learning、具体的には Diffusion Policy に拡張。 - model equivariance 文献から着想を得た新技術により、任意の学習済み neural network policy を 2D 平面回転に対して不変に変換。 - これにより視覚的頑健性に加え、特定のカメラ摂動への耐性を実現。 - 詳細なアーキテクチャや学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- simulation と実機ハードウェアの両方で、visual perturbation に対する zero-shot 適応性を実証。 - imitation learning(Diffusion Policy)への拡張では、state-of-the-art の imitation learning 手法と比較して視覚的一般化の有意な改善を実験的に示した。 - 2D 平面回転不変化手法により、カメラ摂動への耐性も検証。 - 補足動画が公開されている(https://sites.google.com/view/vis-gen-robotics/home)。 - 具体的なタスク・指標・被験者数などは要旨からは不明。

5. 議論はある?

- 実世界展開の複雑性と動的性質に対する頑健性への貢献を主張。 - 視覚的頑健性だけでなく、カメラ摂動への耐性も付与できる点を議論。 - 限界や失敗事例、計算コスト、スケーラビリティに関する具体的議論は要旨からは不明。 - 実機実験の詳細な設定や一般化範囲は要旨からは不明。

6. 次に読むべき論文は?

- Diffusion Policy(imitation learning の比較対象として言及) - disentangled representation learning と associative memory を組み合わせた先行研究 - visual domain randomization を用いる視覚的一般化研究 - point clouds や depth などの不変表現に基づく manipulation 研究 - model equivariance 文献(2D 平面回転不変化の着想元) - 同分野の定番として vision-based reinforcement learning の visual generalization 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sumeet Batra, Gaurav Sukhatme

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Training vision-based manipulation policies that are robust across diverse visual environments remains an important and unresolved challenge in robot learning. Current approaches often sidestep the problem by relying on invariant representations such as point clouds and depth, or by brute-forcing generalization through visual domain randomization and/or large, visually diverse datasets. Disentangled representation learning - especially when combined with principles of associative memory - has recently shown promise in enabling vision-based reinforcement learning policies to be robust to visual distribution shifts. However, these techniques have largely been constrained to simpler benchmarks and toy environments. In this work, we scale disentangled representation learning and associative memory to more visually and dynamically complex manipulation tasks and demonstrate zero-shot adaptability to visual perturbations in both simulation and on real hardware. We further extend this approach to imitation learning, specifically Diffusion Policy, and empirically show significant gains in visual generalization compared to state-of-the-art imitation learning methods. Finally, we introduce a novel technique adapted from the model equivariance literature that transforms any trained neural network policy into one invariant to 2D planar rotations, making our policy not only visually robust but also resilient to certain camera perturbations. We believe that this work marks a significant step towards manipulation policies that are not only adaptable out of the box, but also robust to the complexities and dynamical nature of real-world deployment. Supplementary videos are available at https://sites.google.com/view/vis-gen-robotics/home.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI