マルチモーダル政策コンセンサスによるマルチモーダルマニピュレーション

- ロボットマニピュレーションのためのマルチモーダル方針学習手法。 - 方針を単一表現(visionやtouchなど)ごとの複数のdiffusion modelsに分解。 - router networkがconsensus weightsを学習し、各モデルの寄与を適応的に統合。 - 新規表現のincremental追加や欠損モダリティへの対応を可能にする。

- 従来のfeature concatenationは、visionのようなdominant modalitiesがcontact-richタスクでtouchのようなsparseだが重要な信号を圧倒しうる。 - monolithic architecturesは再学習なしに新規/欠損モダリティを柔軟に扱えない。 - 提案法はモダリティごとに分離したdiffusion modelsとrouterによるconsensusでこれらを緩和。

- 方針をモダリティ別のdiffusion modelsにfactorize。 - router networkがconsensus weightsを学習し、各モダリティの寄与を適応的に結合。 - これにより新規表現のincremental追加が可能。 - 詳細な学習手順やrouterの構造は要旨からは不明。

- RLBenchのシミュレーション操作タスクで評価。 - 実世界タスクとしてoccluded object picking、in-hand spoon reorientation、puzzle insertionを実施。 - multimodal reasoningが必要な場面でfeature-concatenation baselinesを大きく上回る。 - 物理的perturbationsやsensor corruptionへのrobustnessも示す。 - perturbation-based importance analysisでモダリティ間の適応的シフトを確認。

- perturbation-based importance analysisにより、状況に応じたモダリティ間の適応的シフトが明らかに。 - 物理的perturbationsやsensor corruptionへのrobustnessを示唆。 - 限界や失敗事例、計算コストなどの詳細な議論は要旨からは不明。

- feature concatenation baselines(比較対象)。 - diffusion modelsを用いたpolicy learning(関連手法)。 - RLBench(評価ベンチマーク)。 - マルチモーダルfusionやrouter/consensusに関する研究は要旨で明示されず、同分野の定番としてmultimodal fusion、mixture of experts、diffusion policyが次に読む候補。