LatentUM: 潜在空間統合モデルによるインターリーブ型クロスモーダル推論の可能性を解き放つ

- 異種モダリティを横断して理解と生成を行う Unified Model (UM) の新手法 LatentUM を提案。 - 全てのモダリティを共有の semantic latent space で表現し、visual understanding と generation の間の pixel-space mediation を不要にした。 - これにより interleaved cross-modal reasoning と generation を柔軟に実現。 - Visual Spatial Planning benchmark で state-of-the-art、self-reflection による visual generation の限界押し上げ、world modeling を実現。

- 既存 UM は understanding と generation で visual representation が分離しており、pixel decoding を bridge として必要としていた。 - そのため非効率かつ効果が限定的だった。 - LatentUM は共有 semantic latent space で全モダリティを表現し、pixel-space mediation を排除。 - 計算効率改善に加え、codec bias を大幅に緩和し cross-modal alignment を強化。 - 結果として Visual Spatial Planning benchmark で state-of-the-art を達成。

- 全モダリティを単一の shared semantic latent space に統合して表現する unified model。 - visual understanding と generation の間に pixel decoding を挟まず、latent space 上で直接 interleaved cross-modal reasoning と generation を行う。 - 共有表現により codec bias を緩和し cross-modal alignment を強化。 - self-reflection や stepwise action interventions に基づく world modeling を同一 latent space で可能にする。

- Visual Spatial Planning benchmark で state-of-the-art 性能を達成。 - self-reflection を通じて visual generation の限界を押し上げることを確認。 - 共有 semantic latent space 内で将来の visual state を予測する world modeling をサポートすることを示した。 - 計算効率の改善も報告。

- 共有 semantic latent space により codec bias が大幅に緩和され cross-modal alignment が強化される点を主張。 - pixel-space mediation の排除が effectiveness と efficiency の両面で有効であると議論。 - ただし具体的な限界や失敗ケース、計算コストの詳細は要旨からは不明。

- 要旨で参照・比較されている個別の先行研究は明示されていない。 - 関連手法として Unified Models (UMs)、visual understanding、visual generation、Visual Spatial Planning benchmark、world modeling、self-reflection が挙げられる。 - 同分野の定番として Vision-Language Models (VLMs)、diffusion models、autoregressive models などが次に読む候補。