ROSClaw: 異種マルチエージェント協調のための階層的意味-物理フレームワーク
ROSClaw: A Hierarchical Semantic-Physical Framework for Heterogeneous Multi-Agent Collaboration
大規模言語モデルとロボットを統合し、異種ロボットの協調タスクを統一VLMコントローラで実行するフレームワークを提案。物理制約を考慮したsim-to-realマッピングとデータ収集機構により、長期的なタスク実行とポリシー最適化を実現する。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Rongfeng Zhao, Xuanhao Zhang, Zhaochen Guo, Xiang Shao, Zhongpan Zhu, Bin He, Jie Chen
分類: cs.RO, cs.AI, cs.MA
原文アブストラクト
The integration of large language models (LLMs) with embodied agents has improved high-level reasoning capabilities; however, a critical gap remains between semantic understanding and physical execution. While vision-language-action (VLA) and vision-language-navigation (VLN) systems enable robots to perform manipulation and navigation tasks from natural language instructions, they still struggle with long-horizon sequential and temporally structured tasks. Existing frameworks typically adopt modular pipelines for data collection, skill training, and policy deployment, resulting in high costs in experimental validation and policy optimization. To address these limitations, we propose ROSClaw, an agent framework for heterogeneous robots that integrates policy learning and task execution within a unified vision-language model (VLM) controller. The framework leverages e-URDF representations of heterogeneous robots as physical constraints to construct a sim-to-real topological mapping, enabling real-time access to the physical states of both simulated and real-world agents. We further incorporate a data collection and state accumulation mechanism that stores robot states, multimodal observations, and execution trajectories during real-world execution, enabling subsequent iterative policy optimization. During deployment, a unified agent maintains semantic continuity between reasoning and execution, and dynamically assigns task-specific control to different agents, thereby improving robustness in multi-policy execution. By establishing an autonomous closed-loop framework, ROSClaw minimizes the reliance on robot-specific development workflows. The framework supports hardware-level validation, automated generation of SDK-level control programs, and tool-based execution, enabling rapid cross-platform transfer and continual improvement of robotic skills. Ours project page: https://www.rosclaw.io/.
関連論文
- MaRiO: 共有観測によるマルチエージェント協調推論ベンチマークマルチエージェント
- スペクトル固定で長期マルチエージェントAIのドリフトを解消マルチエージェント
- 進化するエージェントチームマルチエージェント
- 言語エージェントと非言語エージェントの協調の探求マルチエージェント
- LLMはナッシュ均衡を超えられるか？自己対戦型マルチエージェントゲームにおける分散協調の検証マルチエージェント
- 言語モデルエージェントは標準的な行動監査では見えない集団内信頼バイアスを示すマルチエージェント
