SCAR: 自己教師あり連続行動表現学習

- 視覚遷移からembodimentを跨いで転移可能なaction表現を学習する手法SCARを提案。 - actionを補助的なconditioning signalではなく、制御可能な変化とembodiment固有のactuationを分離する独立した表現因子と捉える。 - 事前学習済みgenerative backbone上に、inverse dynamics model (IDM)とforward dynamics model (FDM)を組み合わせたjoint inverse-forward dynamics frameworkを構築。 - 学習されたunified latent action表現をworld modelingのconditioning interfaceとして用いる。

- 従来はactionを補助的なconditioning signalとして扱うことが多かったが、本手法はactionを独立した表現因子として扱う点が異なる。 - embodiment固有のraw actionではなく、embodimentを跨ぐunified latent action表現を学習できる点が強み。 - 限られたデータ下でのcross-embodiment適応やcross-task転移が改善されると主張。 - 具体的な先行研究名は要旨からは不明。

- 事前学習済みgenerative backboneを基盤とする。 - IDMがlatent observation pairsからlatent actionを推論。 - FDMがそのlatent actionを条件に将来のdynamicsを予測。 - latent action posteriorをstandard Gaussian priorへ正則化し、任意の視覚エンコーディングに陥るのを防ぐ。 - adversarial invarianceを導入し、embodimentや環境固有のnuisance factorsを抑制。 - これによりlatent spaceを汎用視覚bottleneckではなく転移可能なaction表現にする。

- ProcgenとRobotwinデータセットで実験。 - 学習されたunified latent action表現が、embodiment固有のraw actionよりもworld modelingのconditioning interfaceとして強いことを示す。 - cross-embodiment low-data adaptationとcross-task transferの改善を確認。 - 具体的な評価指標やベースラインは要旨からは不明。

- actionはembodimentを跨ぐ制御可能な変化の共有表現として学習可能であり、より転移可能で汎化可能なworld modelsへのinterfaceを提供すると主張。 - 限定的なデータ下でのembodiment間一般化という課題に貢献。 - 限界や失敗事例、計算コスト、スケーラビリティに関する議論は要旨からは不明。

- 要旨で参照/比較されている具体的な研究は明記されていない。 - 関連手法としてinverse dynamics model (IDM)、forward dynamics model (FDM)、world models、generative backbone、adversarial invariance、Procgen、Robotwinが挙げられる。 - 同分野の定番としてDreamer、MuZero、world models、latent action learningなどの一般名が考えられるが、要旨に明示なし。