MLA: ロボットマニピュレーションにおけるマルチモーダル理解と予測のためのマルチセンサリー言語行動モデル

- ロボット操作のための **multisensory language-action (MLA) model** を提案する研究。 - 視覚と言語だけでなく、2D 画像・3D point clouds・tactile tokens など異種感覚を協調的に知覚する。 - 未来のマルチセンサ情報を予測する目的も持つ。 - 目的は、接触の多い複雑な制御に必要なロボット固有のマルチセンサ理解を実現すること。 - 対象は実世界のロボットマニピュレーションタスク。

- 従来の VLA は主に vision と language から action を生成することに焦点。 - 空間・物理世界の知覚や接触を伴う制御への対応が不足していた。 - MLA はマルチセンサ情報を統合し、未来のマルチセンサ予測も学習する点が異なる。 - 評価では、従来の 2D VLA を 12%、3D VLA を 24% 上回る性能を示した。 - 未見配置への汎化も改善したと報告。

- **encoder-free multimodal alignment scheme** を提案。 - 大規模言語モデル自体を perception module として再利用する。 - 2D 画像、3D point clouds、tactile tokens を positional correspondence で整列し、直接解釈する。 - **future multisensory generation post-training strategy** を設計。 - 未来のマルチセンサ情報を生成・予測する学習により、意味・幾何・相互作用情報を推論させる。 - これにより action generation の条件を強化する。

- 実世界の複雑で接触の多いタスクで評価。 - 従来の state-of-the-art な 2D VLA および 3D VLA 手法と比較。 - 結果として、2D VLA 比で 12%、3D VLA 比で 24% の性能向上を報告。 - 未見の configuration への汎化性能も検証し、改善を示した。 - 具体的なタスク数や評価指標の詳細は要旨からは不明。

- マルチセンサ統合と未来予測が接触の多い操作に有効であることを示唆。 - encoder-free で LLM を perception に用いる設計の有効性と限界については要旨からは不明。 - 実世界評価のタスク多様性、失敗事例、計算コスト、tactile センサ依存性などの議論は要旨からは不明。 - 未見配置への汎化改善の要因分析は要旨からは不明。

- 比較対象として言及される 2D VLA および 3D VLA の代表的手法（具体的名称は要旨からは不明）。 - 関連する基盤として vision-language-action models (VLAs) と vision-language models (VLMs)。 - マルチセンサ・接触制御の文脈では tactile sensing を用いたロボット学習や multisensory representation learning の関連研究。 - 未来予測を用いる手法として future prediction / world model 系のロボット学習研究。