日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2606.15514

強化学習誘導型検索とソフト融合による欠損モダリティ下でのロバストなマルチモーダル模倣学習

Reinforcement Learning-Guided Retrieval with Soft Fusion for Robust Multimodal Imitation Learning under Missing Modalities

シェア:XThreadsFacebookLINEはてブBluesky

センサ欠損時に強化学習で関連デモを検索し、ソフト融合で欠損を補完する模倣学習手法RL4ILを提案し、LIBEROベンチマークで優位性を示した。

詳しい要約

1. どんなもの?

- ロボットの模倣学習(imitation learning)において、推論時に一部の入力モダリティ(例: カメラ映像、言語指示)が欠落しても頑健に動作する手法 RL4IL を提案。 - 訓練ライブラリから観測に最も関連する expert demonstrations を検索し、適切な行動を選択する。 - モダリティ欠落時は per-modality RL retrieval policy で donor demonstrations を特定し、soft imputation head で欠落 embedding を再構成する。 - システムの再訓練を必要としない。

2. 先行研究と比べてどこがすごい?

- 従来の模倣学習は全モダリティが常に利用可能と仮定するが、本手法はセンサ故障・遮蔽・ドロップアウトに頑健。 - 3つの LIBERO benchmark suites で、sensor dropout 条件下において state-of-the-art の模倣学習手法を大幅に上回る性能を示す。 - ポリシーネットワークの訓練を必要とせず、既存手法より効率的。

3. 技術・手法の肝は?

- 強化学習ポリシーを Proximal Policy Optimisation (PPO) で訓練し、Breadth-First Search (BFS) 候補集合上で候補 demonstrations をランク付け。 - soft cross-attention fusion head がランク付けされた候補の行動信号を集約し、最終予測を生成。 - モダリティ欠落時は、per-modality RL retrieval policy が訓練ライブラリから donor demonstrations を特定。 - soft imputation head が top-ranked donors に対する cross-attention で欠落 embedding を再構成。

4. どうやって有効だと検証した?

- 3つの LIBERO benchmark suites を用いた実験を実施。 - sensor dropout 条件下で、RL4IL が state-of-the-art の模倣学習手法を大幅に上回ることを示した。 - ポリシーネットワークの訓練を必要としないことも確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- LIBERO benchmark suites に関する研究。 - Proximal Policy Optimisation (PPO) を用いた強化学習。 - Breadth-First Search (BFS) に基づく候補選択。 - soft cross-attention fusion や soft imputation を用いたマルチモーダル学習。 - 欠落モダリティに頑健な模倣学習手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hassan Ismkhan, Hamid Bouchahcia

分類: cs.RO, cs.LG

原文アブストラクト

Robotic systems perceive the world through multiple input modalities -- including visual camera streams and natural language instructions -- and must select appropriate actions based on these signals. However, assuming the permanent availability of all input devices is unrealistic, as sensors may fail, become occluded, or drop out entirely during deployment. Robust handling of such missing-modality scenarios is therefore essential for real-world robot operation. This paper introduces RL4IL, a reinforcement learning guided method for imitation learning that selects the most suitable action for a given observation by identifying the most relevant expert demonstrations from a training library. A reinforcement learning policy, trained via Proximal Policy Optimisation over Breadth-First Search candidate sets, ranks candidate demonstrations and a soft cross-attention fusion head aggregates their action signals to produce the final prediction. When a modality is missing at inference time, a dedicated per-modality RL retrieval policy identifies donor demonstrations from the training library, and a soft imputation head reconstructs the missing embedding via cross-attention over the top-ranked donors -- without requiring any retraining of the system. Experiments on three LIBERO benchmark suites demonstrate that RL4IL substantially outperforms state-of-the-art imitation learning methods under sensor dropout conditions, while requiring no policy network training. The code can be found at https://github.com/h-ismkhan/Reinforcement-Learning-via-kNN-for-Robotic-Learning-with-Missing-Camera

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI