汎用オープンワールド時間知覚

本論文は、次世代AIシステムの基盤となる「Generalist Open-World Temporal Perception Architecture (GOWTPA)」という概念を提案するポジションペーパーである。これは、生のマルチモーダルストリームから、生物の形態、自然の物理構造、人工物、およびそれらの相互作用を、時間的に持続する一貫したプロセスとして表現することを目指す。具体的には、幾何学、関節構造、意味、相互作用構造、不確実性を推論し、オクルージョンや視点変更を越えて同一性を維持し、種や形態、機構、材料を横断して一般化し、未知のものに遭遇した場合は棄権またはオントロジーを拡張する。最終的には、理解、予測、反事実推論、制御可能な合成をサポートする構造化された世界状態を提供することを目的とする。

先行研究では、大規模生成ビデオ事前学習からクロスモーダルや推論のような能力が出現することが示唆されているが、それらは言語プローブやフォトリアリスティックなビデオを通じてアクセスされることが多く、明示的な意味的・幾何学的・時間的構造は露出されない。本論文は、認識と合成を共有の生成基盤に対する異なる条件付けとして捉える、代替的かつ補完的なパラダイムを提示する点が新しい。つまり、認識、構造化予測、シミュレーションを同じ生成基盤の異なる条件付けとして実現し、推論や身体化ポリシーはその結果の世界状態に基づいて構築される。これにより、一般化可能な時間的知覚を、より広範なマルチモーダル知能と物理AIの基盤層として位置づける。

手法の肝は、認識と合成を分離するのではなく、共有の生成基盤（generative substrate）に対する異なる条件付けとして統合する点にある。具体的には、GOWTPAは、生のマルチモーダル入力から構造化された世界状態を推定する認識モジュールと、その世界状態から出力を合成する生成モジュールを、同一の生成モデル内で条件付けを変えることで実現する。これにより、認識、構造化予測、シミュレーションが同じ基盤から派生し、推論やポリシーはその世界状態を利用する。また、未知のものに対しては棄権またはオントロジー拡張を行うことで、オープンワールドに対応する。

要旨からは、具体的な検証方法は不明である。本論文は概念的な枠組みを提示するものであり、実験的な検証は行われていないか、または要旨には記載されていない。

議論としては、大規模生成ビデオ事前学習からクロスモーダルや推論能力が出現するという最近の研究と比較し、それらの能力が言語プローブやビデオ生成を通じてのみアクセスされる限界を指摘している。その上で、明示的な構造を露出するための代替パラダイムとしてGOWTPAを提案している。しかし、このアーキテクチャの実現可能性や、既存の生成モデルとの関係、計算コストなどについては要旨からは不明である。

要旨で参照されている関連研究として、大規模生成ビデオ事前学習（large-scale generative video pretraining）と、そこから出現するクロスモーダルおよび推論様の能力に関する研究が挙げられる。また、言語モデルのスケーリング（language-model scaling）も関連する。具体的な論文名は不明であるが、これらの分野の定番論文を読むことが推奨される。