日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2601.16677

StyleID-CycleGANによるSim-to-Real転移:視覚ドメイン適応を用いたロボットマニピュレータへのゼロショット展開

Sim-to-Real Transfer via a Style-Identified Cycle Consistent Generative Adversarial Network: Zero-Shot Deployment on Robotic Manipulators through Visual Domain Adaptation

シェア:XThreadsFacebookLINEはてブBluesky

仮想環境の画像を実写風に変換するStyleID-CycleGANを提案し、仮想で訓練した強化学習エージェントを実機で追加学習なしに動かすゼロショット転移を産業用ロボットのピック&プレースで実証した。

詳しい要約

1. どんなもの?

本論文は、Deep Reinforcement Learning (DRL) エージェントの sim-to-real 転移を目的とした新しい domain adaptation 手法を提案する。Style-Identified Cycle Consistent Generative Adversarial Network (StyleID-CycleGAN, SICGAN) と呼ぶ CycleGAN ベースのモデルを用い、仮想環境の観測を実環境風の合成画像に変換し、仮想の dynamics と実環境風の視覚入力を組み合わせた hybrid domain で DRL エージェントを訓練する。訓練後は実環境での追加調整なしに zero-shot 展開を可能にする。産業用ロボット2台の pick-and-place の approaching phase で検証し、仮想環境で 90-100% の成功率、実環境でほとんどの作業領域で 95% 以上の精度を達成した。

2. 先行研究と比べてどこがすごい?

従来の sim-to-real 転移では、実環境での追加訓練や fine-tuning が必要となることが多く、サンプル効率やコストが問題であった。本研究は、SICGAN による domain adaptation を用いることで、実環境での追加訓練を完全に省略する zero-shot 転移を実現した点が優れている。また、augmented reality targets を評価に導入し、色や形状の異なる実物体(LEGO キューブ、マグカップ)への汎化も実験的に示した。

3. 技術・手法の肝は?

技術の肝は、StyleID-CycleGAN (SICGAN) という CycleGAN を拡張したモデルにある。SICGAN は仮想観測を実環境風の合成画像に変換し、仮想 dynamics と実環境風の視覚入力を組み合わせた hybrid domain を生成する。この hybrid domain で DRL エージェントを訓練することで、実環境の視覚的特徴に適応したポリシーを獲得し、zero-shot 展開を可能にする。また、augmented reality targets を用いて評価プロセスを効率化している。

4. どうやって有効だと検証した?

産業用ロボット2台を用いた pick-and-place の approaching phase で検証した。仮想環境では 90-100% の成功率を達成し、実環境では追加訓練なしでほとんどの作業領域で 95% 以上の精度を示した。さらに、色や形状の異なる実物体(LEGO キューブ、マグカップ)への汎化も実験的に確認した。augmented reality targets を用いて評価を効率化した。

5. 議論はある?

要旨からは、手法の限界や失敗事例、計算コスト、他のタスクへの汎用性に関する議論は明記されていない。また、SICGAN の訓練に必要なデータ量や、実環境の多様性に対するロバスト性についての詳細な議論も不明である。

6. 次に読むべき論文は?

要旨で参照されている研究は明示されていないが、関連手法として CycleGAN、Cycle Consistent Generative Adversarial Network、Domain Adaptation、Sim-to-Real Transfer、Deep Reinforcement Learning の文献が挙げられる。また、pick-and-place や robotic manipulators に関する研究も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lucía Güitta-López, Lionel Güitta-López, Jaime Boal, Álvaro Jesús López-López

分類: cs.RO, cs.AI

原文アブストラクト

The sample efficiency challenge in Deep Reinforcement Learning (DRL) compromises its industrial adoption due to the high cost and time demands of real-world training. Virtual environments offer a cost-effective alternative for training DRL agents, but the transfer of learned policies to real setups is hindered by the sim-to-real gap. Achieving zero-shot transfer, where agents perform directly in real environments without additional tuning, is particularly desirable for its efficiency and practical value. This work proposes a novel domain adaptation approach relying on a Style-Identified Cycle Consistent Generative Adversarial Network (StyleID-CycleGAN or SICGAN), an original Cycle Consistent Generative Adversarial Network (CycleGAN) based model. SICGAN translates raw virtual observations into real-synthetic images, creating a hybrid domain for training DRL agents that combines virtual dynamics with real-like visual inputs. Following virtual training, the agent can be directly deployed, bypassing the need for real-world training. The pipeline is validated with two distinct industrial robots in the approaching phase of a pick-and-place operation. In virtual environments agents achieve success rates of 90 to 100\%, and real-world deployment confirms robust zero-shot transfer (i.e., without additional training in the physical environment) with accuracies above 95\% for most workspace regions. We use augmented reality targets to improve the evaluation process efficiency, and experimentally demonstrate that the agent successfully generalizes to real objects of varying colors and shapes, including LEGO\textsuperscript{\textregistered}~cubes and a mug. These results establish the proposed pipeline as an efficient, scalable solution to the sim-to-real problem.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI