LLM-GROP: 大規模言語モデルによる視覚に基づくロボットのタスク・動作計画

- 本論文は、LLM-GROP と呼ばれる、LLM と computer vision を統合した TAMP（Task and Motion Planning）フレームワークを提案する。 - 対象は mobile manipulation（MoMa）による複数物体の再配置。 - 「fork, knife, plate で夕食のテーブルをセットする」のような underspecified な目標に対し、各物体をどこにどう置くかを計算する。 - 実世界とシミュレーションの両方で長期的な物体再配置タスクを評価。

- 従来の TAMP は task planning と motion planning を交互に解くが、本論文は LLM の common sense knowledge を task-level と motion-level の両方の計画に活用する点を特徴とする。 - underspecified な目標に対して、LLM から食器の配置などの常識を引き出して計画に反映する。 - computer vision を用いて MoMa 行動のための base position（ロボットの footprint と向き）を選択する戦略を学習する。 - 多数の物体を動かす必要がある新規状況にも適応可能な枠組みを目指す。

- LLM の common sense knowledge を利用し、物体再配置に関する常識を task-level および motion-level の計画に組み込む。 - computer vision 手法により、MoMa 行動を促進する base position 選択戦略を学習する。 - base position はロボットの作業空間における footprint と orientation に対応する。 - task planning と motion planning を interleave する TAMP の枠組みとして構成される。 - 具体的なアルゴリズム名やモジュール構成の詳細は要旨からは不明。

- 実世界環境とシミュレーション環境の両方で定量的な実験を実施。 - 長期的な物体再配置タスクの完了における success rate と efficiency を評価。 - 実世界の物体再配置試行では 84.4% をロボットが完了。 - 主観的な human evaluation では、ロボットの性能は経験豊富な human waiter より依然として低いと示された。

- 実世界で 84.4% の試行を完了した一方、human evaluation では経験豊富な waiter に及ばないと評価された。 - underspecified な目標や多数物体の再配置への適応を扱うが、限界や失敗要因の詳細は要旨からは不明。 - LLM の common sense 利用や vision による base position 選択の汎化性・信頼性に関する議論の詳細は要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、TAMP（Task and Motion Planning）、mobile manipulation（MoMa）、LLM を用いた task planning、computer vision による base position 選択の代表的文献を次に読む候補とする。 - 具体的な論文名は要旨からは不明。