日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2610.17709

小さなミスが致命的となる場所:模倣学習における状態の重要度の定量化

Where Small Mistakes Matter: Quantifying State Criticality for Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

模倣学習において、わずかな行動のずれが失敗につながる「重要な状態」を定量化する指標SCRIMを提案し、損失の再重み付けやデータ選別に活用することで性能向上を実現した。

詳しい要約

1. どんなもの?

- 模倣学習における state criticality を定式化し、SCRIM という実用的な State CRIticality Measure を提案する研究。 - 各 demonstration state に、小さな policy-relevant な action error に対して task outcome がどれだけ脆弱かを示すスコアを割り当てる。 - このスコアを behavior-cloning loss の reweighting や demonstration の data curation に利用する。 - simulated および real-world robotic manipulation tasks で評価。

2. 先行研究と比べてどこがすごい?

- 従来の imitation learning は全 demonstration state を等しく重要とみなし、behavior-cloning objective をデータセット全体で一様に最適化していた。 - 本研究は state ごとの重要度の差を明示的に扱い、critical state での模倣改善と全体性能向上を図る点が異なる。 - さらに SCRIM により、性能を保ちつつ訓練データ量を大幅に削減する compact な high-value subset の選択が可能になる。

3. 技術・手法の肝は?

- state criticality を、ある state での expert action の bounded perturbation が下流の value を最悪ケースでどれだけ劣化させるかとして定式化。 - 固定した imitation policy の周りで adversarial disturbance policy と value critic を訓練し、この量を推定する SCRIM を提案。 - SCRIM スコアを behavior-cloning loss の reweighting に用い、consequential state での模倣を改善。 - スコアに基づき compact で high-value な demonstration subset を選ぶ data curation も可能。

4. どうやって有効だと検証した?

- 各種 simulated および real-world robotic manipulation tasks で SCRIM を評価。 - policy training の改善、効率的な data selection、demonstration 中のどの瞬間が task success に critical かの解釈可能な insight を提供することを示した。 - 具体的なベースラインや指標の詳細は要旨からは不明。

5. 議論はある?

- SCRIM が policy training を改善し、効率的な data selection を可能にし、解釈可能な insight を与えると主張。 - 限界や失敗ケース、計算コスト、adversarial disturbance policy の感度などに関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として behavior cloning、imitation learning、adversarial policy、value critic などが挙げられる。 - 同分野の定番として DAgger や GAIL などの imitation learning 手法が次に読む候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yusuf Umut Ciftci, Joonwon Kang, Ajay Suresha Sathya, Somil Bansal

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Imitation learning typically treats every demonstration state as equally important, optimizing a behavior-cloning objective uniformly across the dataset. Yet not all states are created equal: in a small number of critical states, even a slight deviation from the expert action can lead to a failure, while in many other states such errors are recoverable and inconsequential. We formalize state criticality in imitation learning as the worst-case degradation in downstream value induced by a bounded perturbation of the expert action at a given state. We then propose SCRIM, a practical State CRIticality Measure that estimates this quantity by training an adversarial disturbance policy and a value critic around a fixed imitation policy. SCRIM assigns each demonstration state a score reflecting how vulnerable the task outcome is to small, policy-relevant action errors. We show that these scores can be used to reweight behavior-cloning losses, improving imitation at consequential states and increasing overall task performance. We further show that SCRIM enables data curation by selecting compact, high-value subsets of demonstrations that preserve performance while substantially reducing the amount of training data. We evaluate SCRIM across various simulated and real-world robotic manipulation tasks, and demonstrate that SCRIM improves policy training, enables efficient data selection, and provides interpretable insights into which moments in a demonstration are most critical for task success. Project website: https://sia-lab-git.github.io/SCRIM/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI