OneLA：潜在行動から多様な世界を学習する統一フレームワーク

- 多様なドメインの動画から world model を学習するための統一的な制御空間を目指す研究。 - 明示的な action 教師なしで動画から continuous latent actions を学習する OneLA を提案。 - 共有された orthogonal dictionary と共通の predictive objective により latent actions を獲得。 - 軽量な adapters で native control commands を同じ空間に写像し、world model の条件付けに使う。 - 現在の visual state と latent action から context-dependent transitions を予測し、controllable rollout を可能にする。

- 従来はドメイン間で action interface が異なり、action annotations も乏しいことが課題。 - 動画から latent actions を学ぶ手法はあるが、ドメイン間で共有するのは外観・embodiment・dynamics の差により困難。 - OneLA は task-specific designs や cross-domain alignment losses を pretraining 中に使わずに共有 latent action を学習。 - 評価では action readout が改善し、action cycle-transfer rotation error を最強 baseline 比で 24.8% 削減。 - 共同学習比較で real-scene generation の HPSv3 が 20.5% 向上。

- 共有された orthogonal dictionary を用いて continuous latent actions を表現。 - 共通の predictive objective で latent action pretraining を行う。 - ドメイン固有の設計や cross-domain alignment loss を必要としない簡素な枠組み。 - 軽量 adapters が native control commands を latent action space にマッピング。 - world model は latent action と current visual state を条件に context-dependent transitions を予測。

- 複数ドメインでの action readout 性能を評価。 - action cycle-transfer rotation error を最強 baseline と比較し 24.8% 改善。 - joint-training 比較で real-scene generation の HPSv3 が 20.5% 向上することを確認。 - これらの結果から多様な動画からの学習と柔軟な制御の可能性を示唆。

- 多様な動画から学び、latent action space を通じて柔軟な制御を可能にする一般 purpose world models への道筋を示す。 - ドメイン間の外観・embodiment・dynamics の差異をどう扱うかが依然として課題。 - 具体的な限界や失敗事例、計算コスト、スケーラビリティに関する議論は要旨からは不明。

- 要旨で参照・比較されている具体的な先行研究名は明記されていない。 - 関連手法として video-based latent action learning、world models、cross-domain alignment を用いた表現学習の定番研究を挙げる。 - 具体的な論文名は要旨からは不明。