日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

空中マニピュレーションarXiv:2511.01472

AERMANI-VLM: 視覚言語モデルによる空中マニピュレーションのための構造化プロンプトと推論

AERMANI-VLM: Structured Prompting and Reasoning for Aerial Manipulation with Vision Language Models

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みVLMを微調整なしで空中マニピュレータに適用し、高レベル推論と低レベル制御を分離して安全な飛行スキル選択を行うフレームワークを提案した。

詳しい要約

1. どんなもの?

- AERMANI-VLM は、空中マニピュレータ(aerial manipulator)向けに pretrained VLM を適応させる初のフレームワーク - 自然言語指示・タスク文脈・安全制約を structured prompt に符号化し、VLM に段階的 reasoning trace を生成させる - その reasoning 出力を用いて、事前定義された flight-safe な離散スキルライブラリからスキルを選択する - 高レベル推論と低レベル制御を分離し、task-specific fine-tuning を一切行わない - シミュレーションとハードウェアの両方で多段階 pick-and-place タスクを検証

2. 先行研究と比べてどこがすごい?

- VLM をロボット制御へ直接用いる従来の VLM-driven policy では、生成行動が inconsistent・hallucination-prone・飛行に動的に実行不可能となりやすく、空中マニピュレータでは安全・信頼性に難があった - 本研究は空中マニピュレーションに VLM を適応させる最初のフレームワークと位置づけられる - task-specific fine-tuning なしで、高レベル reasoning と低レベル制御を分離する点が特徴 - 離散的な flight-safe スキル選択により、hallucinated command の抑制と不安全行動の防止を狙う - 未見のコマンド・物体・環境への汎化を示す点を主張

3. 技術・手法の肝は?

- 自然言語指示、タスク文脈、安全制約を structured prompt にまとめ、pretrained VLM へ入力 - VLM は自然言語による step-by-step reasoning trace を生成 - その reasoning 出力を、事前定義された離散・flight-safe スキルライブラリからの選択に用いる - symbolic reasoning と physical action を decouple することで、解釈可能かつ時間的に一貫した実行を狙う - タスク固有の fine-tuning は行わず、pretrained VLM をそのまま活用

4. どうやって有効だと検証した?

- シミュレーションとハードウェアの両方で検証 - 多様な multi-step pick-and-place タスクで評価 - 未見のコマンド、物体、環境に対する強い汎化を実証したと主張 - 具体的な評価指標・ベースライン・試行回数は要旨からは不明

5. 議論はある?

- VLM の hallucination や inconsistent な行動生成を、reasoning と action の分離および flight-safe スキル選択で緩和する設計思想が議論の中心 - 離散スキルライブラリへの依存により、ライブラリ外の行動への対応範囲は制約されうる(要旨からは不明) - 安全性制約を structured prompt に埋め込む方式の限界や、実機での動的 feasibility の詳細は要旨からは不明 - 定量比較や failure case の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明示されていない - 関連手法として、VLM を用いた robotic control / VLM-driven policy、vision-language-action 系の研究、aerial manipulation の制御研究、flight-safe な skill library や task planning に関する研究を次に読む候補として挙げる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sarthak Mishra, Rishabh Dev Yadav, Avirup Das, Saksham Gupta, Wei Pan, Spandan Roy

分類: cs.RO

原文アブストラクト

The rapid progress of vision--language models (VLMs) has sparked growing interest in robotic control, where natural language can express the operation goals while visual feedback links perception to action. However, directly deploying VLM-driven policies on aerial manipulators remains unsafe and unreliable since the generated actions are often inconsistent, hallucination-prone, and dynamically infeasible for flight. In this work, we present AERMANI-VLM, the first framework to adapt pretrained VLMs for aerial manipulation by separating high-level reasoning from low-level control, without any task-specific fine-tuning. Our framework encodes natural language instructions, task context, and safety constraints into a structured prompt that guides the model to generate a step-by-step reasoning trace in natural language. This reasoning output is used to select from a predefined library of discrete, flight-safe skills, ensuring interpretable and temporally consistent execution. By decoupling symbolic reasoning from physical action, AERMANI-VLM mitigates hallucinated commands and prevents unsafe behavior, enabling robust task completion. We validate the framework in both simulation and hardware on diverse multi-step pick-and-place tasks, demonstrating strong generalization to previously unseen commands, objects, and environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI