無限の動きを解き放つ：生成ビデオ事前学習による表現豊かな四足歩行のスケーリング

四足ロボットの行動レパートリーを拡張するため、動物を介さずに生成モデルで多様な運動データを作る完全自動パイプライン Uni-Mo を提案。 - LLM が運動プロンプトを提案し、video diffusion model が対応するロボット挙動を合成。 - 生成動画を 3D reference trajectories に持ち上げ、tracking policies を学習。 - 実機 Unitree Go2 に展開。 - 7,488 の言語注釈付き四足運動(18.5 時間)からなる Quad-Imaginarium をオープンソース公開。

従来の四足ロボットは少数の gait に限定され、humanoid の大規模運動データ手法を輸入する試みは『ロボット運動はまず動物身体を経由する必要がある』という暗黙の前提を持っていた。 - その結果、データ収集は協力的な動物に依存し、種間再構成は脆く、形態非互換な retargeting は ill-posed だった。 - Uni-Mo は animal を loop から外し、データ不足を生成問題として再定式化することでこれらを回避。

データ不足を生成問題として捉える完全自動パイプライン。 - LLM が motion prompts を提案。 - video diffusion model が対応するロボット挙動を合成。 - 生成動画を 3D reference trajectories に変換し、tracking policies を学習。 - 素朴に drift する生成を確実に抽出するため、フレーム間の外観一貫性を強制する Identity Consistency Loss を導入。

実機 Unitree Go2 で 392 のランダムサンプル運動を検証し、96.7% の deployment success rate を確認。 - シミュレーションでは全データセットで 97.6% の success rate を確認。

要旨からは不明。 - 生成動画の drift や Identity Consistency Loss の限界、実機展開時の安全性、多様性と成功率のトレードオフなどは明示されていない。

要旨で参照/比較されている研究は明示されていない。 - 関連手法として、humanoid の大規模運動データ収集・retargeting、video diffusion model による運動生成、LLM によるプロンプト生成、四足ロボットの tracking policy 学習などが挙げられる。 - 具体的な論文名は要旨からは不明。