日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.01594

MARS: マルチモーダル大規模言語モデルによる支援知能のためのマルチエージェントロボットシステム

MARS: Multi-Agent Robotic System with Multimodal Large Language Models for Assistive Intelligence

シェア:XThreadsFacebookLINEはてブBluesky

視覚認識・リスク評価・計画・評価の4エージェントをMLLMで統合し、障害者支援のスマートホームロボット向けにリスクを考慮した適応的な行動計画を実現するシステムを提案した。

詳しい要約

1. どんなもの?

- MLLMs を活用した障害者支援向け smart home robot 用の Multi-Agent Robotic System「MARS」 - 4 つの agent で構成 - visual perception agent: 環境画像から意味・空間特徴を抽出 - risk assessment agent: 危険を特定し優先順位付け - planning agent: 実行可能な行動系列を生成 - evaluation agent: 反復的最適化 - 多modal 知覚と階層的 multi-agent 意思決定を統合し、動的屋内環境での適応的・risk-aware・personalized 支援を目指す

2. 先行研究と比べてどこがすごい?

- 既存の支援システムは risk-aware planning、user personalization、雑然とした家庭内での言語計画の実行可能 skill への grounding に課題 - MARS は多modal 知覚と階層的 multi-agent 決定を組み合わせ、これら課題に対処 - 複数 dataset の実験で risk-aware planning と協調的 multi-agent 実行の総合性能が state-of-the-art の多modal モデルより優れると報告 - 実世界展開への汎用可能な方法論を示す点が新規性

3. 技術・手法の肝は?

- MLLMs を中核とした 4 agent 構成 - visual perception agent が環境画像から semantic/spatial 特徴を抽出 - risk assessment agent が hazard を特定・優先順位付け - planning agent が実行可能な action sequence を生成 - evaluation agent が反復的に最適化 - 多modal 知覚 + 階層的 multi-agent 意思決定により adaptive・risk-aware・personalized な支援を実現 - 言語計画を実行可能 skill へ grounding する設計(詳細は要旨からは不明)

4. どうやって有効だと検証した?

- 複数の dataset 上で実験 - risk-aware planning と協調的 multi-agent 実行の総合性能を評価 - state-of-the-art の多modal モデルと比較し優位性を確認 - 具体的な dataset 名・指標・被験者実験の有無は要旨からは不明

5. 議論はある?

- 協調的 AI が実用的支援シナリオで持つ可能性を強調 - MLLM 有効な multi-agent システムを実世界環境へ展開する汎用方法論を提示 - 限界・失敗事例・安全性リスク・計算コスト・実機検証の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている state-of-the-art の多modal モデル(MLLMs)関連研究 - 支援ロボティクスにおける risk-aware planning 研究 - 言語計画の executable skill への grounding 研究 - multi-agent 協調意思決定のロボティクス応用研究 - 具体名は要旨に無いため、同分野の定番として MLLM-based robot planning と assistive robotics の関連論文を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Renjun Gao

分類: cs.RO, cs.CV

原文アブストラクト

Multimodal large language models (MLLMs) have shown remarkable capabilities in cross-modal understanding and reasoning, offering new opportunities for intelligent assistive systems, yet existing systems still struggle with risk-aware planning, user personalization, and grounding language plans into executable skills in cluttered homes. We introduce MARS - a Multi-Agent Robotic System powered by MLLMs for assistive intelligence and designed for smart home robots supporting people with disabilities. The system integrates four agents: a visual perception agent for extracting semantic and spatial features from environment images, a risk assessment agent for identifying and prioritizing hazards, a planning agent for generating executable action sequences, and an evaluation agent for iterative optimization. By combining multimodal perception with hierarchical multi-agent decision-making, the framework enables adaptive, risk-aware, and personalized assistance in dynamic indoor environments. Experiments on multiple datasets demonstrate the superior overall performance of the proposed system in risk-aware planning and coordinated multi-agent execution compared with state-of-the-art multimodal models. The proposed approach also highlights the potential of collaborative AI for practical assistive scenarios and provides a generalizable methodology for deploying MLLM-enabled multi-agent systems in real-world environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI