GenManip: LLM駆動シミュレーションによる汎化可能な指示追従マニピュレーション

- GenManipは、ロボット操作におけるpolicyの汎化を研究するための現実的なtabletop simulation platform - LLM-driven task-oriented scene graphによる自動パイプラインを備え、10Kのannotated 3D object assetsを用いて大規模で多様なタスクを合成 - 汎化を体系的に評価するため、human-in-the-loop correctionsで洗練した200シナリオのbenchmark「GenManip-Bench」を提示 - 評価対象は(1)perception・reasoning・planningにfoundation modelsを統合したmodular manipulation systemsと(2)scalable data collectionで訓練したend-to-end policiesの2種類

- 既存のsimulation platformsは、policyが多様なinstructionsやscenariosにどう適応するかの探索を十分に支援できていなかった - instruction-following foundation models(LLMs等)への関心が高まる一方、その適応性はfair comparisonsの下であまり探求されていなかった - GenManipはこのギャップを埋めるため、policy generalization研究に特化した現実的なtabletop simulation platformを提供 - LLM-driven scene graphによる大規模・多様なタスク合成と、human-in-the-loopで洗練したbenchmarkを組み合わせる点が特徴

- LLM-driven task-oriented scene graphを核とした自動パイプラインで、大規模かつ多様なタスクを合成 - 10Kのannotated 3D object assetsを活用してシーンとタスクの多様性を確保 - GenManip-Benchは200シナリオをhuman-in-the-loop correctionsで洗練して構築 - 評価はmodular manipulation systems(foundation modelsをperception・reasoning・planningに統合)と、scalable data collectionで訓練するend-to-end policiesの2類型で実施

- GenManip-Benchの200シナリオを用いて2種類のpolicyを評価 - 結果として、data scalingはend-to-end手法に利益をもたらす一方、foundation modelsで強化したmodular systemsは多様なシナリオでより効果的に汎化することを示した - これにより、instruction-following manipulationにおけるpolicy generalizationの比較評価が可能であることを実証 - 詳細な評価指標や実験設定は要旨からは不明

- data scalingがend-to-end手法を改善する一方で、modular systemsとfoundation modelsの組み合わせが多様なシナリオでより高い汎化を示すという知見を提示 - 現実条件下でのpolicy generalizationを進めるための重要な洞察を提供する基盤となることを期待 - 具体的な限界・失敗事例・計算コスト・sim-to-realの議論は要旨からは不明

- 要旨で参照/比較されている研究は明示されていないため、同分野の定番として以下を挙げる - instruction-following manipulationのend-to-end policy学習(例: RT-1, RT-2, OpenVLAなどのvision-language-action models) - foundation modelsを組み込んだmodular manipulation systems(例: LLM-based task planningとperceptionモジュールの統合) - ロボット操作の汎化評価benchmark(例: LIBERO, CALVIN, RLBenchなどのsimulation benchmarks)