AERMANI-VLM: 視覚言語モデルによる空中マニピュレーションのための構造化プロンプトと推論
AERMANI-VLM: Structured Prompting and Reasoning for Aerial Manipulation with Vision Language Models
事前学習済みVLMを微調整なしで空中マニピュレータに適用し、高レベル推論と低レベル制御を分離して安全な飛行スキル選択を行うフレームワークを提案した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Sarthak Mishra, Rishabh Dev Yadav, Avirup Das, Saksham Gupta, Wei Pan, Spandan Roy
分類: cs.RO
原文アブストラクト
The rapid progress of vision--language models (VLMs) has sparked growing interest in robotic control, where natural language can express the operation goals while visual feedback links perception to action. However, directly deploying VLM-driven policies on aerial manipulators remains unsafe and unreliable since the generated actions are often inconsistent, hallucination-prone, and dynamically infeasible for flight. In this work, we present AERMANI-VLM, the first framework to adapt pretrained VLMs for aerial manipulation by separating high-level reasoning from low-level control, without any task-specific fine-tuning. Our framework encodes natural language instructions, task context, and safety constraints into a structured prompt that guides the model to generate a step-by-step reasoning trace in natural language. This reasoning output is used to select from a predefined library of discrete, flight-safe skills, ensuring interpretable and temporally consistent execution. By decoupling symbolic reasoning from physical action, AERMANI-VLM mitigates hallucinated commands and prevents unsafe behavior, enabling robust task completion. We validate the framework in both simulation and hardware on diverse multi-step pick-and-place tasks, demonstrating strong generalization to previously unseen commands, objects, and environments.
関連論文
- CAPTURER:多様な環境で動的かつ精密な把持を実現する器用な空中マニピュレータ空中マニピュレーション
- 空中マニピュレータの非線形制御空中マニピュレーション
- LLM支援による能動的タスク生成を用いた適応型空中移動マニピュレーションポリシー学習空中マニピュレーション
- 異種環境を横断する対話型空中移動のベンチマーク空中マニピュレーション
- コード飛行:能動的な視覚・物理フィードバックによる空中マニピュレーションのための身体性コーディングエージェント空中マニピュレーション
- HexaGripper: 単一アクチュエータ・ウインチ展開型グリッパによる自律空中荷物回収空中マニピュレーション
