日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2607.27261

デモの数だけではない:反実仮想的行動感度カバレッジによるデータ効率的で堅牢なロボット模倣学習

It's Not Just More Demos: Counterfactual Action Sensitivity Coverage for Data-Efficient Robust Robot Imitation

シェア:XThreadsFacebookLINEはてブBluesky

視覚運動模倣学習の堅牢性を向上させるため、クリーンなデモと妨害観測をペアにして行動ドリフトを測定し、ポリシー固有の感度信号に基づいて少数の修復データを選択するオフライン手法CFNBCを提案した。

詳しい要約

1. どんなもの?

本論文は、視覚運動模倣学習(visuomotor imitation learning)におけるポリシーの堅牢性向上を目的とした、オフラインのデータ選択フレームワーク「Counterfactual Nuisance Behaviour Cloning (CFNBC)」を提案する。クリーンなデモで訓練された名目ポリシーに対し、専門家の行動を変えないような対となるクリーン観測とnuisance観測を生成し、その際のポリシーの予測行動の変化(action drift)を測定する。このポリシー固有の感度信号を用いて、大規模な候補プールから、応答の多様性を考慮したコンパクトな修復用データセットを選択する。ロールアウトの成功ラベルやオンライン実行を必要としない点が特徴。

2. 先行研究と比べてどこがすごい?

従来のデータ多様性の増加による堅牢性向上は、どの追加デモが特定の訓練済みポリシーにとって有益か不明瞭だった。CFNBCは、ポリシーの感度(action drift)に基づいてデータを選択することで、ポリシー固有の脆弱な応答モードを直接ターゲットにする。また、ロールアウトやオンライン実行を必要としないオフラインの選択手法であり、データ効率の高い修復を実現する点が新しい。

3. 技術・手法の肝は?

手法の核心は、反事実的nuisance観測の生成とaction driftの測定にある。具体的には、クリーンなデモから訓練されたポリシーに対し、専門家の行動を変えないようなnuisance(照明、色、背景など)を加えた観測を生成し、ポリシーの予測行動の変化(action drift)を計算する。このaction driftが大きいサンプルは、ポリシーがnuisanceに敏感であることを示し、修復に有効なデータとみなす。選択されたサンプルは、応答の多様性を考慮して選ばれる。

4. どうやって有効だと検証した?

MuJoCoのバイマニュアルキューブ移動タスクとSimplerEnvのキューブ積み上げタスクで検証した。action driftがnuisanceによる失敗と相関することを示し、応答ガイドによる修復(20〜30サンプル選択)が、同数のランダム選択を大幅に上回り、より大きなランダム修復予算の性能に近づくことを実証した。

5. 議論はある?

要旨からは、提案手法の限界や議論についての詳細は不明。ただし、データ中心の堅牢性修復の視点を支持し、最も有用なデータは必ずしも多数派や視覚的に多様なものではなく、現在のポリシーの脆弱な応答モードをカバーする例であると主張している。

6. 次に読むべき論文は?

要旨で参照されている研究は明示されていないが、関連する手法として、模倣学習の堅牢性向上に関する研究(例えば、データ拡張やドメインランダマイゼーション)や、オフラインデータ選択の手法が考えられる。具体的には、Behavior Cloningの堅牢性に関する論文や、反事実的説明を用いた研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Giovanni D'urso, Kaushik Roy, Nicholas Lawrance, Brendan Tidd

分類: cs.RO

原文アブストラクト

Visuomotor imitation learning has demonstrated success for manipulation tasks. However, the trained policies remain brittle to visual `nuisances', with even minor task-preserving variations such as lighting, distractions or changes in colour result in heavy degradation of the trained policy's performance. While increasing data diversity can improve robustness, it is unclear which additional demonstrations are informative for a particular trained policy. We propose Counterfactual Nuisance Behaviour Cloning (CFNBC), an offline data-selection framework for targeted robustness repair. Starting from a nominal policy trained on `clean' demonstrations, CFNBC generates paired clean and nuisance observations that preserve the expert action, then measures \emph{action drift}: the change in the policy's predicted action under a nuisance that should not alter the desired behaviour. This provides a policy-specific sensitivity signal for selecting a compact, response-diverse repair set from a larger candidate pool, without requiring rollout success labels or online policy execution. We show in MuJoCo bimanual cube transfer and SimplerEnv cube stacking that action drift correlates with nuisance-induced failure, and that response-guided repair with only $20$--$30$ selected candidates substantially outperforms matched-budget random selection while approaching the performance of much larger random repair budgets. These results support a data-centric view of robustness repair: the most useful data are not necessarily the most numerous, visually diverse, or obviously difficult, but the examples that cover fragile response modes of the current policy.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI