MALLVI: 統合的汎用ロボットマニピュレーションのためのマルチエージェントフレームワーク
MALLVI: A Multi-Agent Framework for Integrated Generalized Robotics Manipulation
自然言語指示と画像からロボットの操作を計画する際、分解・位置推定・思考・反省などの専門エージェントを協調させ、視覚言語モデルによる閉ループフィードバックで汎化性能と成功率を高めるフレームワークを提案。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Mehrshad Taji, Arad Mahdinezhad Kashani, Iman Ahmadi, AmirHossein Jadidi, Saina Kashani, Babak Khalaj
分類: cs.RO, cs.AI, cs.CV, cs.LG
原文アブストラクト
Task planning for robotic manipulation with large language models (LLMs) is an emerging area. Prior approaches rely on specialized models, fine tuning, or prompt tuning, and often operate in an open loop manner without robust environmental feedback, making them fragile in dynamic settings. MALLVI presents a Multi Agent Large Language and Vision framework that enables closed-loop feedback driven robotic manipulation. Given a natural language instruction and an image of the environment, MALLVI generates executable atomic actions for a robot manipulator. After action execution, a Vision Language Model (VLM) evaluates environmental feedback and decides whether to repeat the process or proceed to the next step. Rather than using a single model, MALLVI coordinates specialized agents, Decomposer, Localizer, Thinker, and Reflector, to manage perception, localization, reasoning, and high level planning. An optional Descriptor agent provides visual memory of the initial state. The Reflector supports targeted error detection and recovery by reactivating only relevant agents, avoiding full replanning. Experiments in simulation and real-world settings show that iterative closed loop multi agent coordination improves generalization and increases success rates in zero shot manipulation tasks. Code available at https://github.com/iman1234ahmadi/MALLVI .
関連論文
- 環境に寄りかかって遠くの物体に手を伸ばすヒューマノイド制御マニピュレーション
- 目的関数をポリシーとして:接触を伴うマニピュレーションのための視覚言語モデルによるコストプログラムマニピュレーション
- 見えない開始遅延が自己対戦ハンドオーバーを未知のパートナーに頑健にするマニピュレーション
- 非線形マニピュレータの単一線形化軌道計画における最適動作点選択マニピュレーション
- VRヒューマンデモで点群把持ポリシーの持続的失敗を修正マニピュレーション
- 低出力二重振り子の自然な振り上げ制御マニピュレーション
