日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2511.09932

データ拡張による視覚運動ポリシーの汎化能力向上に関する研究

A Study on Enhancing the Generalization Ability of Visuomotor Policies via Data Augmentation

シェア:XThreadsFacebookLINEはてブBluesky

少量の人間デモから多様なランダム化データを自動生成し、視覚運動ポリシーの汎化性能を向上させる手法を提案。カメラ姿勢や照明、テーブルテクスチャなど多様な要因をランダム化し、低コストマニピュレータでのゼロショットsim-to-real転移にも有効であることを示した。

詳しい要約

1. どんなもの?

- 視覚運動ポリシーの汎化能力向上を目的としたデータ拡張手法の研究。 - 既存手法の生成データは多様性が不足し、ポリシーの汎化を制限していると指摘。 - シーン配置要因を自動生成し、汎化に影響する要因を調査。 - 少量の人間デモから効率的に自動生成可能な、広範囲にランダム化されたデータセットを構築。 - 5種類のマニピュレータと2種類のグリッパー、6つの操作タスクをカバー。 - カメラ姿勢、照明条件、テーブルテクスチャ、テーブル高さなどのランダム化要因を含む。

2. 先行研究と比べてどこがすごい?

- 既存の軌道拡張データ収集手法は、シーン水平面上の物体のランダム配置に対応することを目的としていたが、生成データの多様性が不足していた。 - 本研究では、汎化に大きく影響するシーン配置要因を自動化してデータ生成を行い、より広範囲なランダム化を実現。 - 少量の人間デモのみで効率的に自動生成可能なデータセットを構築した点が新しい。 - 低コストマニピュレータにおけるzero-shot sim-to-real転送へのシーンランダム化の効果を調査した点も特徴。

3. 技術・手法の肝は?

- 既存手法で訓練されたポリシーの性能を、異なるシーン配置要因間で自動的にデータ生成して調査。 - 汎化に影響する要因を持定し、それらをランダム化したデータセットを構築。 - データセットは5種類のマニピュレータと2種類のグリッパー、6つの操作タスクを包含。 - カメラ姿勢、照明条件、テーブルテクスチャ、テーブル高さなどのランダム化を導入。 - 少量の人間デモから効率的に自動生成するパイプラインを採用。

4. どうやって有効だと検証した?

- 異なるシーン配置要因で訓練されたポリシーの性能を比較し、各要因が汎化能力に与える影響を評価。 - 何らかのランダム化を適用するとポリシーの汎化が向上することを確認。 - 多様な軌道が視覚的ギャップを埋めるのに特に有効であることを発見。 - 低コストマニピュレータを用いて、提案するシーンランダム化がzero-shot sim-to-real転送の汎化能力向上に与える効果を調査。

5. 議論はある?

- カメラ姿勢、照明条件、テーブルテクスチャ、テーブル高さなどの全ての要因がポリシーの汎化能力に影響することを確認。 - 任意の形式のランダム化が汎化を向上させるが、多様な軌道が視覚的ギャップの橋渡しに特に効果的であると議論。 - 低コストマニピュレータにおけるzero-shot sim-to-real転送へのシーンランダム化の有効性を示唆。 - 要旨からは、ランダム化の組み合わせや最適な範囲に関する詳細な議論は不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、軌道拡張データ収集による模倣学習ポリシーの汎化向上手法(具体的名称は要旨から不明)。 - 同分野の定番として、Domain Randomization、Sim-to-Real Transfer、Imitation Learning、Visuomotor Policy Learning に関する論文が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hanwen Wang

分類: cs.RO

原文アブストラクト

The generalization ability of visuomotor policy is crucial, as a good policy should be deployable across diverse scenarios. Some methods can collect large amounts of trajectory augmentation data to train more generalizable imitation learning policies, aimed at handling the random placement of objects on the scene's horizontal plane. However, the data generated by these methods still lack diversity, which limits the generalization ability of the trained policy. To address this, we investigate the performance of policies trained by existing methods across different scene layout factors via automate the data generation for those factors that significantly impact generalization. We have created a more extensively randomized dataset that can be efficiently and automatically generated with only a small amount of human demonstration. The dataset covers five types of manipulators and two types of grippers, incorporating extensive randomization factors such as camera pose, lighting conditions, tabletop texture, and table height across six manipulation tasks. We found that all of these factors influence the generalization ability of the policy. Applying any form of randomization enhances policy generalization, with diverse trajectories particularly effective in bridging visual gap. Notably, we investigated on low-cost manipulator the effect of the scene randomization proposed in this work on enhancing the generalization capability of visuomotor policies for zero-shot sim-to-real transfer.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI