日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2505.18899

ドメインランダム化を超えて:動画からの視覚的にロバストな敵対的模倣のためのイベント着想知覚

Beyond Domain Randomization: Event-Inspired Perception for Visually Robust Adversarial Imitation from Videos

シェア:XThreadsFacebookLINEはてブBluesky

RGB動画を時間的強度勾配を符号化するイベントベース表現に変換し、見た目の違いに影響されないロボット模倣学習を実現した研究。

詳しい要約

1. どんなもの?

- 本論文は、ビデオからの模倣学習(Imitation from videos)における視覚的ドメインシフト(照明・色・テクスチャの差異)への頑健性を高める新手法を提案する。 - 外観のランダム化ではなく、知覚表現そのものを見直すアプローチ。 - 生物の視覚系(retinal ganglion cells など)が時間的過渡を優先することに着想を得た event-inspired perception を導入。 - 通常の RGB 動画を、時間的強度勾配を符号化する疎な event-based representation に変換する。 - これにより運動ダイナミクスと視覚スタイルを分離し、expert と agent の環境間の視覚的ミスマッチ下でも頑健な模倣を可能にする。

2. 先行研究と比べてどこがすごい?

- 先行の visual randomization は訓練データ拡張でドメインシフトに対処するが、計算コストが高く、本質的に受動的(reactive)で未知シナリオに弱い。 - 提案手法は外観のランダム化を不要とし、外観の影響を表現レベルで排除する点が異なる。 - 環境固有で高コストなデータ拡張を必要とせず、appearance-based distractors への不変性を実現。 - 生物学的視覚機構と最近のセンサ進歩に着想を得た点が新規。

3. 技術・手法の肝は?

- 標準 RGB ビデオを、時間的強度勾配を符号化する疎な event-based representation に変換する。 - この表現は静的な外観特徴を捨て、時間的過渡を優先する。 - 運動ダイナミクスと視覚スタイルを分離(disentangle)する。 - event streams 上でポリシーを訓練することで、外観ベースの妨害要因への不変性を得る。 - 計算コストの高い環境固有のデータ拡張を不要とする。

4. どうやって有効だと検証した?

- DeepMind Control Suite と Adroit platform(動的で器用な操作)における実験で有効性を示した。 - 具体的な評価指標・比較手法・定量的結果の詳細は要旨からは不明。 - コードは Eb-LAIfO として公開されている。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、event 変換による情報損失、時間的過渡のみで捉えられないタスクへの適用限界、実センサ(event camera)とのギャップなどが考えられるが、本文の議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている研究は visual randomization と biological vision systems(retinal ganglion cells)に関するもの。 - 関連手法として event-based vision / event camera を用いたロボティクス研究、Adversarial Imitation Learning(GAIL 等)、DeepMind Control Suite と Adroit を用いた模倣学習研究を次に読むべき候補として挙げる。 - 公開コード Eb-LAIfO の実装も参照対象。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Andrea Ramazzina, Vittorio Giammarino, Matteo El-Hariry, Mario Bijelic

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

Imitation from videos often fails when expert demonstrations and learner environments exhibit domain shifts, such as discrepancies in lighting, color, or texture. While visual randomization partially addresses this problem by augmenting training data, it remains computationally intensive and inherently reactive, struggling with unseen scenarios. We propose a different approach: instead of randomizing appearances, we eliminate their influence entirely by rethinking the sensory representation itself. Inspired by biological vision systems that prioritize temporal transients (e.g., retinal ganglion cells) and by recent sensor advancements, we introduce event-inspired perception for visually robust imitation. Our method converts standard RGB videos into a sparse, event-based representation that encodes temporal intensity gradients, discarding static appearance features. This biologically grounded approach disentangles motion dynamics from visual style, enabling robust visual imitation from observations even in the presence of visual mismatches between expert and agent environments. By training policies on event streams, we achieve invariance to appearance-based distractors without requiring computationally expensive and environment-specific data augmentation techniques. Experiments across the DeepMind Control Suite and the Adroit platform for dynamic dexterous manipulation show the efficacy of our method. Our code is publicly available at Eb-LAIfO.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI