FALCON: 基盤モデルで協調する移動と操作の分離型視覚運動ポリシー

- ロコマニピュレーション（移動と操作の統合）のためのフレームワーク FALCON を提案。 - 移動（locomotion）と操作（manipulation）を明示的に分離した2つの diffusion policy と、視覚言語基盤モデルをコーディネータとして組み合わせる。 - 各サブシステムは自身の観測のみに依存し、異種で不一致な観測の融合による性能劣化を緩和する。 - 基盤モデルが全体観測と言語指示を共有潜在埋め込みに符号化し、両 diffusion policy を条件付ける。 - phase-progress head により手動ラベルなしで離散フェーズと連続進捗を推定。 - 調整対応の contrastive loss で腕とベースの行動間の相互互換性を潜在空間に構造化。

- 単一の集中型ポリシーで移動と操作の異種観測を融合する従来手法に対し、分離型ポリシーで性能劣化を回避。 - 分離型ベースラインと比べ、視覚言語基盤モデルによる調整回復が特徴。 - 手動フェーズラベルを必要とせず、テキスト記述からフェーズと進捗を推定する点が新しい。 - 集中型・分散型ベースラインを上回り、分布外シナリオへのロバスト性と汎化も向上。

- 移動と操作をそれぞれ専用の diffusion policy として分離。 - 視覚言語基盤モデルが全体観測と言語指示を共有潜在埋め込みに符号化し、両ポリシーを条件付け。 - phase-progress head がタスク段階のテキスト記述を用いて離散フェーズと連続進捗を推定（手動ラベル不要）。 - coordination-aware contrastive loss で腕とベースの行動間の相互互換性を潜在空間に明示的に符号化。

- ナビゲーション、精密なエンドエフェクタ配置、厳密なベース・アーム協調を要する2つの難タスクで評価。 - 集中型および分散型ベースラインを上回る結果。 - 分布外シナリオへのロバスト性と汎化の改善を示す。

- 要旨からは不明（限界や失敗事例、計算コスト、実機展開の議論は記載なし）。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として diffusion policy、vision-language foundation model、loco-manipulation の集中型/分散型ベースラインが挙げられる。 - 同分野の定番として、移動と操作を統合する強化学習・模倣学習ベースの loco-manipulation 研究を読むとよい。