CoMo: インターネット動画から連続潜在運動を学習するスケーラブルなロボット学習

- Internet videos から連続的な latent motion を教師なしで学習する手法 CoMo を提案する研究。 - 目的は robot learning のための scalable な pseudo action label 生成。 - 離散的な既存手法の情報損失と、離散 latent motion と連続 robot action の分布ギャップを問題視。 - 学習した latent motion は zero-shot で未見動画にも汎化し pseudo action label を生成できると主張。

- 既存の離散手法は小さな codebook の vector quantization で過剰な静的背景による shortcut learning を緩和するが、情報損失と複雑・細粒度ダイナミクスの捕捉に難がある。 - さらに離散 latent motion と連続 robot action の分布ギャップが unified policy の joint learning を妨げる。 - CoMo は連続 latent motion を学習することでこのギャップに対処し、より精密な動き表現を得る点が差分。 - 具体的な先行研究名は要旨からは不明。

- early temporal difference (Td) 機構を導入し、shortcut learning の難易度を上げて motion cues を明示的に強化。 - temporal contrastive learning (Tcl) を提案。小さな future frame temporal offset で positive pair、時間方向を直接反転して negative pair を構成。 - Td と Tcl が相乗的に働き、latent motion が foreground に集中し motion cues が強化される。 - 学習した latent motion から未見動画への pseudo action label 生成を行う。

- 大規模 simulation および real-world 実験を実施。 - CoMo の pseudo action labels と co-train した policy が diffusion および auto-regressive アーキテクチャの双方で優れた性能を達成。 - zero-shot generalization により未見動画へ有効な pseudo action labels を生成できることを示す。 - 具体的なベンチマーク名・データセット名は要旨からは不明。

- 離散表現の情報損失と連続 action との分布ギャップという問題設定を明示。 - Td と Tcl の相乗効果で foreground への集中と motion cue 強化を狙う設計。 - zero-shot 汎化と複数アーキテクチャでの有効性を主張するが、限界や失敗ケースの詳細は要旨からは不明。 - 定量的な比較結果の詳細は要旨からは不明。

- 要旨で直接参照されている既存手法は vector quantization を用いた離散 latent motion 学習（具体的な論文名は要旨からは不明）。 - 関連手法として temporal difference learning、temporal contrastive learning、diffusion policy、auto-regressive policy が挙げられる。 - 同分野の定番として robot learning における unsupervised video pretraining や action-free video representation learning の文献を次に読む候補とする。