マルチモーダル大規模言語モデルによる選好に基づく長期的ロボット積み重ね

- 隠れた物体を含む容器の積み重ねなど、物体の物理的性質(重さ・安定性)の推論が必要な long-horizon robotic stacking タスクを対象とした研究。 - multimodal LLM を high-level planner として用い、各物体の multimodal 入力から積み重ね順序(preference)を推論させる枠組みを提案。 - 複数の preference を明示的指示なしに同時推論させるため、custom dataset で LLM を fine-tune する。

- 従来の pretrained LLM は抽象的なタスク記述や自然言語指示への推論は可能だが、物理的性質が重要な long-horizon manipulation 計画では知識・有効性が不足していた。 - 本研究では weight, stability, size, footprint を含む stacking preference を考慮した custom dataset で fine-tune することで、prompt tuning のみの pretrained LLM と比較して stacking completion の改善を示した。

- multimodal LLM を high-level planner として使用し、積み重ね対象ごとの multimodal 入力を与えて現在最良の stacking sequence を推論させる。 - 明示的な指示なしに複数 preference を同時に推論できるよう、weight, stability, size, footprint を考慮した custom dataset を構築し LLM を fine-tune。 - 推論された順序に基づきロボットが積み重ねを実行する枠組み。

- 大規模 simulation evaluation により、custom dataset で fine-tune した LLM が pretrained LLM の prompt tuning と比べて stacking completion を改善することを示した。 - 実機の humanoid robot において、long-horizon stacking タスクを online manner で実行し有効性を実証した。

- 要旨からは不明(隠れた物理性質の推論精度や失敗事例、fine-tune の汎化性に関する議論は明記されていない)。

- 要旨で比較対象として挙げられている pretrained LLM の prompt tuning による high-level robotic planning 関連研究。 - multimodal LLM をロボット planner に用いる研究、および long-horizon manipulation の planning 研究。