日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

タスクプランニングarXiv:2512.19453

MaP-AVR: 視覚言語モデルと検索拡張生成を活用したエージェントのためのメタアクションプランナー

MaP-AVR: A Meta-Action Planner for Agents Leveraging Vision Language Models and Retrieval-Augmented Generation

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの行動を「移動/回転・エンドエフェクタ状態変化・環境との関係」からなるメタアクションに抽象化し、RAGでLLM/VLMの計画を支援するタスクプランナーを提案。

詳しい要約

1. どんなもの?

- 本論文は、複雑な日常タスクを扱う embodied robotic AI システム向けのタスクプランナー MaP-AVR を提案する。 - 高レベルタスクを理解・分解するプランナーで、VLM と RAG を組み合わせる。 - 計画結果を meta-action の集合として抽象化する点が中心。 - 各 meta-action は {move/rotate, end-effector status change, relationship with the environment} の3要素で構成。 - GPT-4o と OmniGibson を用いて検証。

2. 先行研究と比べてどこがすごい?

- 先行研究は LLM/VLM のタスク理解能力を fine-tuning や chain-of-thought prompting で高めることに主眼。 - 本論文は「計画される skill set の定義」も同等に重要と主張する点が新しい。 - grasping や pushing のような human-centric 概念を、ロボットの内在的機能に基づく meta-action に置換。 - 計画結果がロボットの実行可能な行動範囲と整合しやすくなる。 - meta-action 集合と RAG 統合の2点を新規貢献として挙げる。

3. 技術・手法の肝は?

- 計画結果を meta-action として抽象化する。 - 各 meta-action は {move/rotate, end-effector status change, relationship with the environment} で表現。 - 抽象度の高い表現ほど汎化しやすいという経験的根拠に基づく。 - LLM/VLM が所定の meta-action 形式を正確に出力するよう、RAG を用いる。 - RAG は human-annotated planning demonstrations のデータベースを in-context learning に活用。 - タスク成功が増えるとデータベースが self-augment し、多様性を維持・支援する。

4. どうやって有効だと検証した?

- GPT-4o を pre-trained LLM/VLM モデルとして使用。 - OmniGibson をロボティクスプラットフォームとして実験を設計。 - 提案手法の性能を current state-of-the-art method と比較。 - 要旨では「promising performance」と報告。 - 具体的なタスク数・評価指標・統計的有意性は要旨からは不明。

5. 議論はある?

- meta-action への抽象化が汎化とロボット実行可能性の整合に有効という主張。 - human-centric 概念を排除することで、計画と実行可能行動のギャップを減らす狙い。 - RAG データベースの self-augment による継続的改善と多様性維持に言及。 - 一方、抽象化による表現力の制約、RAG データベースの品質・偏り、self-augment の誤り蓄積などの議論は要旨からは不明。 - 定量的な限界や失敗事例の分析も要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている current state-of-the-art method の論文(具体名は要旨からは不明)。 - LLM/VLM のタスクプランニングを fine-tuning や chain-of-thought prompting で強化する関連研究。 - Retrieval-Augmented Generation (RAG) をロボティクス計画に適用する関連研究。 - OmniGibson を用いた embodied AI / ロボットマニピュレーションのベンチマーク研究。 - meta-action や skill abstraction を用いた階層的タスクプランニングの研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenglong Guo, Yiming Zhao, Feng Jiang, Heng Jin, Zongbao Feng, Jianbin Zhou, Siyuan Xu

分類: cs.RO

原文アブストラクト

Embodied robotic AI systems designed to manage complex daily tasks rely on a task planner to understand and decompose high-level tasks. While most research focuses on enhancing the task-understanding abilities of LLMs/VLMs through fine-tuning or chain-of-thought prompting, this paper argues that defining the planned skill set is equally crucial. To handle the complexity of daily environments, the skill set should possess a high degree of generalization ability. Empirically, more abstract expressions tend to be more generalizable. Therefore, we propose to abstract the planned result as a set of meta-actions. Each meta-action comprises three components: {move/rotate, end-effector status change, relationship with the environment}. This abstraction replaces human-centric concepts, such as grasping or pushing, with the robot's intrinsic functionalities. As a result, the planned outcomes align seamlessly with the complete range of actions that the robot is capable of performing. Furthermore, to ensure that the LLM/VLM accurately produces the desired meta-action format, we employ the Retrieval-Augmented Generation (RAG) technique, which leverages a database of human-annotated planning demonstrations to facilitate in-context learning. As the system successfully completes more tasks, the database will self-augment to continue supporting diversity. The meta-action set and its integration with RAG are two novel contributions of our planner, denoted as MaP-AVR, the meta-action planner for agents composed of VLM and RAG. To validate its efficacy, we design experiments using GPT-4o as the pre-trained LLM/VLM model and OmniGibson as our robotic platform. Our approach demonstrates promising performance compared to the current state-of-the-art method. Project page: https://map-avr.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI