意味的に構造化されたMixture-of-Expertsによる構成ロボット操作

- Diffusion-based policy は精密なロボット manipulation で標準だが、高性能モデルは計算コストが高く、軽量版は多様な multi-task 環境で汎化しにくいという scalability のボトルネックがある。 - Mixture-of-Experts (MoE) は一部パラメータのみ活性化し効率化できるが、既存の routing は低レベルの noise や latent statistics に依存し、manipulation の compositional な性質を無視する。 - 本論文は Semantically Structured Mixture-of-Experts Diffusion Policy (SMoDP) を提案し、expert の specialization を semantic task structure に基づかせる。 - 軽量な inference-time skill predictor を Vision-Language Models (VLMs) の offline annotation で監督し、acti…

- 既存 MoE routing は低レベル noise や latent statistics に依存し、manipulation の compositional 構造を無視するため、再利用可能な behavior が expert 間に断片化し、解釈性と転移性が制限される。 - SMoDP は expert specialization を semantic task structure に接地させる点が新しい。 - 代表的な diffusion および MoE-based baseline を multi-task benchmark で上回り、parameter efficiency を大幅に改善。 - parameter-efficient fine-tuning により新規タスクへの compositional transfer も実証。

- 軽量な inference-time skill predictor を用い、Vision-Language Models (VLMs) による offline annotation で監督する。 - この predictor が action chunk を特定の behavioral phase に特化した expert へ routing する。 - 堅牢な assignment のため dual contrastive alignment strategy を提案。 - Inter-modal: マルチモーダル観測を言語定義の skill semantics に接地。 - Intra-modal: 視覚的に異なるが機能的に関連する behavior 間で routing consistency を強制。

- multi-task benchmark 上で代表的な diffusion および MoE-based baseline と比較し、性能で上回ることを示した。 - parameter efficiency の大幅な改善を報告。 - parameter-efficient fine-tuning により新規タスクへの効果的な compositional transfer を実証。 - 具体的な benchmark 名や評価指標は要旨からは不明。

- 既存 MoE routing の問題として、低レベル noise や latent statistics への依存が reusable behavior の断片化を招き、解釈性と転移性を制限する点を指摘。 - SMoDP は semantic task structure に expert specialization を接地させることでこれに対処。 - 限界や失敗ケース、計算コストの詳細な議論は要旨からは不明。

- 要旨で参照/比較されている研究: Diffusion Policy、Mixture-of-Experts (MoE) ベースの手法、Vision-Language Models (VLMs)。 - 関連手法として、Diffusion Policy、MoE routing、parameter-efficient fine-tuning が挙げられる。 - 同分野の定番として、robotic manipulation における diffusion-based policy や multi-task learning の研究が次に読むべき候補。