オンボード視覚言語モデルを用いたマルチエージェントロボット制御

本論文は、搭載型のVision Language Models (VLMs)を用いたMulti-Agent System (MAS)アーキテクチャを提案し、外部計算機に依存せずに多目的自律移動マニピュレータを制御するものである。シミュレーション環境上の産業用倉庫において、安全点検、倉庫保守、倉庫検索、パッケージ品質検証、人間の要求への応答という5つのタスクカテゴリを遂行する。3Bから20Bパラメータの小型VLMを搭載し、パッケージ検査精度向上のためのfine-tuningを適用する。また、長期的な計画における小型モデルのコンテキスト保持問題を緩和する新しいオーケストレーションエージェント「Megamind」を導入する。

先行研究のVLMやVision Language Action (VLA)モデルは、説明可能性、汎化、計算要件に課題があった。本提案は、専用エージェントを搭載ハードウェアに展開することで外部計算への依存を排除し、これらの課題に対処する。特に、小型モデルを用いた完全搭載型MASが、クラウド依存型の展開に代わるコスト効率の高い選択肢であることを示す点が新しい。

手法の核は、複数の専門エージェントからなるMASアーキテクチャを搭載ハードウェア上に構築することである。各エージェントは小型VLM（3-20Bパラメータ）を使用し、特定のタスクに特化する。パッケージ検査精度向上のため、fine-tuningを適用する。さらに、長期的な計画におけるコンテキスト保持問題を解決するために、新しいオーケストレーションエージェント「Megamind」を導入する。

AMD Ryzen(TM) AIミニPCを用いたハードウェアインザループシミュレーションでシステムを検証した。産業用倉庫のシミュレーション環境で5つのタスクカテゴリを実行し、完全搭載型MASアーキテクチャが実現可能で、コスト効率が高く、実世界への転移可能性が強いことを示した。シミュレーション環境はApache 2.0ライセンスでオープンソース公開されている。

要旨からは、完全搭載型MASの利点と実現可能性が強調されているが、具体的な性能比較や限界についての議論は不明である。また、実世界への転移可能性については言及されているが、実機での検証は行われていない可能性がある。

要旨で参照されている先行研究は明示されていないが、関連する分野として、Vision Language Models (VLMs)やVision Language Action (VLA)モデルを用いたロボット制御の研究が挙げられる。また、Multi-Agent System (MAS)のロボティクス応用に関する研究も関連する。