Pelican-Unify 1.0: 理解・推論・想像・行動を統合した身体化基盤モデル

- Pelican-Unify 1.0は、unificationの原則に基づいて訓練された初のembodied foundation model。 - 単一のVLMをunified understanding moduleとして使用し、scene、instruction、visual context、action historyを共有semantic spaceにマッピング。 - 同じVLMがunified reasoning moduleとしても機能し、task-, action-, future-oriented chains of thoughtをautoregressively生成し、最終hidden stateをdense latent variableに投影。 - Unified Future Generator (UFG)がこのlatent variableを条件として、同一denoising process内でfuture videoとfuture actionを2つのmodality-specific output headで jointly 生成。 - langua…

- 従来はunderstanding、reasoning、imagination、actionを別々のexpert systemとして訓練していたが、本モデルは単一checkpointでこれらを統合。 - unificationがcompromiseを意味しないことを示し、単一モデルで三能力すべてにおいて強い性能を達成。 - 8つのVLM benchmarkで64.7を記録し、同規模モデル中で最高。 - WorldArenaで66.03を記録し第1位。 - RoboTwinで93.5を記録し、比較されたaction手法中で2番目に良い平均。

- 単一VLMをunified understanding moduleおよびunified reasoning moduleとして使用。 - reasoningではtask-, action-, future-oriented chains of thoughtをautoregressively生成し、最終hidden stateをdense latent variableに投影。 - Unified Future Generator (UFG)がlatent variableを条件に、同一denoising process内でfuture videoとfuture actionを2つのmodality-specific output headで jointly 生成。 - language、video、actionのlossを共有representationにbackpropagateし、understanding、reasoning、imagination、actionを jointly 最適化。

- 8つのVLM benchmarkで64.7を達成し、同規模モデル中最高。 - WorldArenaで66.03を達成し第1位。 - RoboTwinで93.5を達成し、比較されたaction手法中2番目に良い平均。 - 単一checkpointでこれら三能力すべてにおいて強い性能を確認。

- unificationがcompromiseを意味しないことを実験結果が示す。 - 単一モデルでspecialist strengthを保持しつつ、understanding、reasoning、imagination、actionを統合することに成功。 - ただし、具体的な限界や失敗事例、計算コスト、スケーラビリティに関する議論は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、VLM、WorldArena、RoboTwin、embodied foundation model、unified understanding/reasoning/imagination/actionの統合モデルが挙げられる。 - 同分野の定番として、RT-1、RT-2、PaLM-E、Gato、Diffusion Policyなどが考えられるが、要旨に記載はない。