日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

エージェントOSarXiv:2607.10350

ABot-AgentOS: 生涯マルチモーダルメモリを備えた汎用ロボットエージェントOS

ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory

シェア:XThreadsFacebookLINEはてブBluesky

低レベル制御の上に推論・記憶・ツール使用・検証・クロス実体実行を提供する汎用ロボットエージェントOSを提案し、実行可能なベンチマークと永続的なマルチモーダルグラフメモリを導入した。

詳しい要約

1. どんなもの?

- VLM/VLAを上位から支える汎用ロボットAgent OS - 低レベルcontrollerの上に位置する熟慮的agent層 - 機能: 状況依存planning、skill実行、検証、記憶、edge-cloud連携 - 評価用にEmbodiedWorldBenchを新規提案 - 16シーン・4難易度・200超タスクの実行可能benchmark

2. 先行研究と比べてどこがすごい?

- 従来のVLM/VLAは知覚と行動予測に限定 - 長期的embodied agentには汎用runtime層が未整備 - 本研究はOS層としてreasoning/memory/tool/verificationを統合 - 単一controller baselineに対しtask成功とgoal完了で改善 - 記憶benchmarkでも高い性能を報告

3. 技術・手法の肝は?

- Universal Multi-modal Graph Memoryを導入 - 対話・視覚・空間・時間・task traceをtyped node/edge化 - 永続的でsource-groundedな記憶基盤 - failure-driven self-evolution loopを採用 - 診断された記憶失敗をgated runtime evo-assetsへ変換 - 後続eval splitのみに昇格しleakageを防止

4. どうやって有効だと検証した?

- EmbodiedWorldBenchの初期subsetで検証 - 単一controller baselineと比較し成功・goal完了で改善 - 記憶benchmark: LoCoMo 87.5、OpenEQA EM-EQA 59.9 - Mem-Gallery 88.6、NExT-QA Acc@All 76.5 - self-evolutionでLoCoMo 88.7、OpenEQA 60.4、Mem-Gallery 89.0へ向上

5. 議論はある?

- 汎用Agent OS層が長期embodied実行を改善しうる - 永続的でauditableな記憶を提供 - 継続的interactionへの寄与を示唆 - ただし初期subsetでの結果であり全benchmark評価は要旨からは不明 - leakage防止設計の詳細や限界は要旨からは不明

6. 次に読むべき論文は?

- VLM - VLA - LoCoMo - OpenEQA EM-EQA - Mem-Gallery - NExT-QA - EmbodiedWorldBench

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiayi Tian, Shiao Liu, Yuting Xu, Jia Lu, Zihao Guan, Honglin Han, Di Yang, Minqi Gu, Yifei Qian, Tianlin Zhang, Yanqing Zhu, Zeqian Ye, Menglin Yang, Fei Wang, Xu Hu, Xiuxian Li, Wei Zhang, Shihui Su, Yiyan Ji, Jingbo Wang, Ziteng Feng, Jiaheng Liu, Zhaoxiang Zhang, Xiaolong Wu, Zixiao Tang, Zhining Gu, Yang Cai, Linbo Zheng, Jingjing Ma, Mingyang Yin, Zedong Chu, Wenbin Tang, Mu Xu

分類: cs.AI, cs.RO

原文アブストラクト

Recent VLM and VLA systems have improved robotic perception and action prediction, yet long-horizon embodied agents still require a general runtime layer for reasoning, memory, tool use, verification, and cross-embodiment execution. We present ABot-AgentOS, a general robotic Agent Operating System that sits above low-level controllers and provides a deliberative agent layer for scene-conditioned planning, context-isolated skill execution, multi-stage verification, multi-modal memory, and edge-cloud collaboration. To evaluate such systems, we introduce EmbodiedWorldBench, an executable benchmark with 16 indoor, outdoor, and hybrid scenes, four difficulty levels, and over 200 tasks involving navigation, object search, NPC dialogue, dynamic events, and trace-grounded scoring. ABot-AgentOS further introduces Universal Multi-modal Graph Memory, a persistent source-grounded substrate that converts dialogue, visual observations, spatial context, temporal relations, and task traces into typed nodes and edges. A failure-driven self-evolution loop converts diagnosed memory failures into gated runtime evo-assets that are promoted only to later evaluation splits, preventing current-split ground-truth leakage while enabling continual improvement. On an initial EmbodiedWorldBench subset, ABot-AgentOS improves over a single-controller baseline in both task success and goal completion. Across memory benchmarks, ABot-AgentOS Static achieves 87.5 on LoCoMo, 59.9 on OpenEQA EM-EQA, 88.6 on Mem-Gallery, and 76.5 Acc@All on NExT-QA; self-evolution further improves LoCoMo to 88.7, OpenEQA to 60.4, and Mem-Gallery to 89.0. These results suggest that a general Agent OS layer can improve long-horizon embodied execution while providing persistent, auditable memory for continual interaction.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI