日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2504.21716

LLMを活用した家庭用ロボットの記憶拡張型タスクプランニングのための身体性エージェント

LLM-Empowered Embodied Agent for Memory-Augmented Task Planning in Household Robotics

シェア:XThreadsFacebookLINEはてブBluesky

家庭内の物体管理を自律的に行うため、LLM駆動のエージェントオーケストレーションと記憶拡張型タスクプランニングを統合した身体性ロボットシステムを提案。RAGやGrounded SAM、LLaMa3.2-Visionを組み合わせ、ユーザー指示の実行と過去の行動追跡を可能にした。

詳しい要約

1. どんなもの?

- 家庭内物体管理のための自律型ロボットシステム - LLM駆動のエージェントオーケストレーションアーキテクチャを採用 - 記憶拡張型タスクプランニングを統合し、高レベルなユーザーコマンドを実行しつつ過去の行動を追跡 - 3つの専門エージェント(ルーティング、タスクプランニング、知識ベース)で構成 - 各エージェントはタスク特化型LLMで駆動

2. 先行研究と比べてどこがすごい?

- 明示的なモデルトレーニングを不要にした点(in-context learningを活用) - RAGにより過去のインタラクションから文脈を取得し、長期物体追跡を強化 - Grounded SAMとLLaMa3.2-Visionの組み合わせで堅牢な物体検出を実現 - 従来の手法との直接比較は要旨からは不明

3. 技術・手法の肝は?

- 3つの専門エージェントによるオーケストレーション - ルーティングエージェント:タスクの振り分け - タスクプランニングエージェント:計画立案 - 知識ベースエージェント:知識管理 - in-context learningによりトレーニング不要 - RAGで過去のインタラクションから文脈を取得 - Grounded SAMとLLaMa3.2-Visionによる物体検出と意味的シーン理解

4. どうやって有効だと検証した?

- 3つの家庭内シナリオで評価 - 高いタスクプランニング精度を確認 - RAGによる記憶想起の改善を確認 - Qwen2.5が専門エージェントで最高性能、LLaMA3.1がルーティングタスクで優れることを示した

5. 議論はある?

- 要旨からは不明(具体的な議論や限界についての記述なし)

6. 次に読むべき論文は?

- Grounded SAM(物体検出) - LLaMa3.2-Vision(視覚言語モデル) - RAG(検索拡張生成) - in-context learning - Qwen2.5(LLM) - LLaMA3.1(LLM)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Marc Glocker, Peter Hönig, Matthias Hirschmanner, Markus Vincze

分類: cs.RO, cs.AI, cs.CL

原文アブストラクト

We present an embodied robotic system with an LLM-driven agent-orchestration architecture for autonomous household object management. The system integrates memory-augmented task planning, enabling robots to execute high-level user commands while tracking past actions. It employs three specialized agents: a routing agent, a task planning agent, and a knowledge base agent, each powered by task-specific LLMs. By leveraging in-context learning, our system avoids the need for explicit model training. RAG enables the system to retrieve context from past interactions, enhancing long-term object tracking. A combination of Grounded SAM and LLaMa3.2-Vision provides robust object detection, facilitating semantic scene understanding for task planning. Evaluation across three household scenarios demonstrates high task planning accuracy and an improvement in memory recall due to RAG. Specifically, Qwen2.5 yields best performance for specialized agents, while LLaMA3.1 excels in routing tasks. The source code is available at: https://github.com/marc1198/chat-hsr.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI