日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2610.10857

自己教師ありキーフレーム発見による長期依存行動クローニング

Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning

シェア:XThreadsFacebookLINEはてブBluesky

ランダムにサンプリングした過去観測から情報量の多いキーフレームを自己教師ありで発見し、それを条件に行動クローニングを行うことで、長期依存タスクでも性能劣化なく汎化できる手法を提案。

詳しい要約

1. どんなもの?

- 非マルコフ環境でのBehavior Cloning (BC) の課題に対処するため、Keyframe Mnemonicsを提案。 - 自己教師ありで情報臨界な観測(mnemonics)を発見し、それをキーフレーム選択の報酬として利用。 - 発見したキーフレームに条件付けられたBCポリシーを訓練し、行動分布をモデル化。 - 無限ホライズンでの文脈保持を保証しつつ、小さなキーフレーム集合をワーキングメモリに保持。

2. 先行研究と比べてどこがすごい?

- 既存のリカレントモデルは隠れ状態の崩壊やBPTTによる勾配不安定性に悩まされる。 - アテンションベースモデルはコンテキスト長に根本的な制限がある。 - 提案手法はこれらの問題を克服し、訓練より何桁も長いホライズンに一般化可能。 - 合成メモリ領域で100%成功率、ロボット操作ベンチマークで最強ベースラインより13.9%絶対成功率改善。

3. 技術・手法の肝は?

- ランダムにサンプリングされた過去の観測から目的関数を学習し、それをキーフレーム選択の報酬として使用。 - 情報臨界な観測(mnemonics)を自己教師ありで発見。 - 発見されたキーフレームに条件付けられたBCポリシーを訓練。 - 特定のタスク構造仮定の下で無限ホライズンでの文脈保持を保証。

4. どうやって有効だと検証した?

- 合成メモリ領域で評価し、mnemonic条件付きBCポリシーが100%成功率を達成。 - 訓練より何桁も長いホライズンに性能劣化なく一般化。 - メモリ集約型ロボット操作ベンチマーク(23タスク)で最強ベースラインより平均絶対成功率13.9%改善。 - 実ロボットで20倍長いホライズンでも80%の成功率を維持。

5. 議論はある?

- 特定のタスク構造仮定の下での文脈保持保証が議論されている。 - 無限ホライズンでの性能維持と小さなキーフレーム集合の有効性が示唆される。 - 他の手法との比較や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:リカレントモデル、アテンションベースモデル。 - 関連手法:Behavior Cloning (BC)、Keyframe Mnemonics。 - 同分野の定番:非マルコフ環境でのBC、長期依存性モデリング。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Prabin Kumar Rath, Omkar Patil, Nakul Gopalan

分類: cs.AI, cs.RO

原文アブストラクト

Behavior cloning (BC) in non-Markovian environments is a challenging problem because policies have to reason over contextual information over long horizons. Existing policy architectures rely on recurrent or attention-based mechanisms to capture long-term dependencies. However, recurrent models suffer from hidden-state collapse and gradient instability under backpropagation through time, while attention-based models are fundamentally limited by context length. To address these issues, we propose Keyframe Mnemonics, a novel self-supervised method that $\textit{discovers}$ a set of information-critical observations ($\textit{mnemonics}$) by learning an objective from randomly sampled past observations and using it as a reward for keyframe selection. We then train a BC policy that conditions on the discovered keyframes to model the action distribution. Under certain task-structure assumptions, our formulation provides context retention guarantees over an infinite horizon, while maintaining a small set of decision-relevant keyframes in the policy's working memory. We evaluate our method on synthetic memory domains, where mnemonic-conditioned BC policies achieve $100$% success rates (SR) and generalize to horizons orders of magnitude beyond training without performance degradation. Additionally, we evaluate on memory-intensive robot manipulation benchmark, achieving a $13.9$% average absolute SR improvement over the strongest baseline across $23$ tasks and retaining $80$% SR at $20\times$ longer horizons on a real robot. Code and videos are available at https://keyframe-mnemonics.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI