Orca：世界は心の中にある

- Orcaは、汎用world foundation modelの初期実装。 - マルチモーダルなworld signalsから統一的なworld latent spaceを学習し、マルチモーダルなreadout interfaceで利用可能。 - 個別のnext-token, next-frame, next-action predictionではなく、Next-State-Prediction modelingを中心に据える。 - 理解・予測・行動のための統一的なstate-transition modelingの道筋を提供。 - 2つの学習パラダイム: unconscious learningは連続動画から密な自然状態遷移を捉え、conscious learningは言語記述イベントとVQA supervisionで疎で意味のある状態遷移をモデル化。 - 事前学習用に125K時間の動画と160Mのイベントアノテーションを含む大規模world-learning inventory dataを構築。

- 従来のnext-token, next-frame, next-action predictionを個別に最適化するのではなく、Next-State-Prediction modelingによる統一的なstate-transition modelingを提案。 - 統一的なworld latent spaceを学習し、それをマルチモーダルreadout interfaceで下流タスクに利用する点が新しい。 - 同規模のspecialized baselineを上回る性能を示す。 - 提案パラダイムのscalabilityを実験的に示し、より強いworld latentがより強い下流readoutを可能にすることを検証。

- マルチモーダルなworld signalsから統一的なworld latent spaceを学習。 - Next-State-Prediction modelingを中心に、state-transitionをモデル化。 - 2つの学習パラダイム: unconscious learning (連続動画から密な自然状態遷移) と conscious learning (言語記述イベントとVQA supervisionによる疎で意味のある状態遷移)。 - 事前学習データ: 125K時間の動画と160Mのイベントアノテーションを含む大規模world-learning inventory data。 - 下流評価ではbackboneを凍結し、軽量なmodality-specific decoderのみを学習。 - 下流readout: text generation, image prediction, embodied action generation。

- 学習したworld latentが下流を支えるかを、3つの代表的下流readout (text generation, image prediction, embodied action generation) で評価。 - backboneを凍結し、軽量なmodality-specific decoderのみを訓練。 - 実験により提案パラダイムのscalabilityを確認し、より強いworld latentがより強い下流readoutを可能にすることを検証。 - Orcaは同規模のspecialized baselineを上回る。

- 現在のlimitationsについて議論し、コミュニティに有用な洞察とインスピレーションを提供することを目指す。 - 具体的なlimitationsの内容は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、next-token prediction, next-frame prediction, next-action prediction, VQA supervision, world foundation model, embodied action generationなどが挙げられる。 - 同分野の定番として、world model, video prediction, vision-language model, embodied AIに関する研究が考えられるが、要旨からは特定の論文名は不明。