PhysMoE: モダリティ分離型VLMにおける単一トークン座標表現による高速空間グラウンディング

- 本論文は、Embodied Vision-Language Models (VLMs) における grounding タスクの座標予測を高速化・高精度化する手法 PhysMoE を提案する。 - 従来の課題として、discrete tokenization による空間連続性の破壊と高い decoding latency、および標準的な point regression が multi-contact affordances や不規則形状のターゲットで失敗する点を挙げる。 - 3つの貢献からなる: (1) 物理モダリティによる expert routing、(2) 単一トークンでの座標表現、(3) differentiable Signed Distance Field (SDF) supervision。 - 座標ベースの grounding とテキストベースの embodied 推論の両立を目指す。

- 既存の discrete tokenization 手法は空間連続性を損ない decoding latency が高いが、PhysMoE は座標を単一トークンで表現し 8.31x の throughput speedup を達成。 - 標準的な point regression は multi-contact affordances や不規則形状で失敗するが、PhysMoE は differentiable SDF supervision でこれらに対応。 - ベースモデル比で 9 つの座標ベース grounding ベンチマーク(trajectory, affordance, localization)で平均 15.7% の改善。 - 11 のテキストベース embodied ベンチマークで multimodal understanding と reasoning を維持。

- 下位層をマルチモーダル文脈用に共有し、上位層を物理モダリティに応じて spatial (pixel) expert と linguistic (text) expert に routing し、勾配干渉を排除。 - 各座標を単一トークンとして符号化する際、visual encoder の学習済み positional embeddings を再利用し、2D 空間事前分布を注入して座標を視覚特徴とネイティブに整合させ学習を容易化。 - pointing に対して differentiable Signed Distance Field (SDF) supervision を適用し、高コストな mask decoder なしで affordances や不規則形状に対応。

- 9 つの座標ベース grounding ベンチマーク(trajectory, affordance, localization)でベースモデル比平均 15.7% の改善と 8.31x の throughput speedup を報告。 - 11 のテキストベース embodied ベンチマークで multimodal understanding と reasoning の維持を確認。 - 具体的なベンチマーク名や実験設定の詳細は要旨からは不明。

- 要旨からは不明。 - 提案手法の限界、失敗ケース、計算コスト、expert routing の設計選択に関する議論は要旨に記載がない。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、discrete tokenization を用いる VLM grounding 手法、point regression ベースの affordance grounding、Signed Distance Field (SDF) を用いた形状表現、Mixture-of-Experts (MoE) アーキテクチャ、Embodied VLM の planning/manipulation 研究が次に読む候補として考えられる。