LLMを活用した家庭用ロボットの記憶拡張型タスクプランニングのための身体性エージェント
LLM-Empowered Embodied Agent for Memory-Augmented Task Planning in Household Robotics
家庭内の物体管理を自律的に行うため、LLM駆動のエージェントオーケストレーションと記憶拡張型タスクプランニングを統合した身体性ロボットシステムを提案。RAGやGrounded SAM、LLaMa3.2-Visionを組み合わせ、ユーザー指示の実行と過去の行動追跡を可能にした。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Marc Glocker, Peter Hönig, Matthias Hirschmanner, Markus Vincze
分類: cs.RO, cs.AI, cs.CL
原文アブストラクト
We present an embodied robotic system with an LLM-driven agent-orchestration architecture for autonomous household object management. The system integrates memory-augmented task planning, enabling robots to execute high-level user commands while tracking past actions. It employs three specialized agents: a routing agent, a task planning agent, and a knowledge base agent, each powered by task-specific LLMs. By leveraging in-context learning, our system avoids the need for explicit model training. RAG enables the system to retrieve context from past interactions, enhancing long-term object tracking. A combination of Grounded SAM and LLaMa3.2-Vision provides robust object detection, facilitating semantic scene understanding for task planning. Evaluation across three household scenarios demonstrates high task planning accuracy and an improvement in memory recall due to RAG. Specifically, Qwen2.5 yields best performance for specialized agents, while LLaMA3.1 excels in routing tasks. The source code is available at: https://github.com/marc1198/chat-hsr.
