日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.23565

HoloAgent-0: 3D空間メモリを備えた統合具現化エージェントフレームワーク

HoloAgent-0: A Unified Embodied Agent Framework with 3D Spatial Memory

シェア:XThreadsFacebookLINEはてブBluesky

言語指示を実行可能なスキルグラフに変換し、3D空間メモリとロボットスキルを統合して実ロボットで閉ループ実行を実現する統一エージェントフレームワークを提案した。

詳しい要約

1. どんなもの?

- 実世界ロボット配備向けの統合 embodied agent framework『HoloAgent-0』を提案。 - 言語指示を実行可能な skill graph に変換し、ロボット資源の scheduling、実行監視、runtime feedback からの clarification や re-planning を行う Embodied AgentOS を中核とする。 - 異種ロボットモデルと controller を、Embodied AgentOS、3D spatial memory、embodied skills の3層で統合。 - 実ハードウェアに配備し、spatial memory、long-horizon navigation、closed-loop execution を評価。

2. 先行研究と比べてどこがすごい?

- 既存の embodied-AI システムは manipulation、spatial understanding、navigation、humanoid control を個別モジュールや疎結合な decision loop として扱う傾向。 - 本研究はこれらを統合し、実世界ロボット配備のための unified framework を提示。 - 物理実行の連続性、embodiment 依存性、不確実性、安全性制約に対応する点が差異。 - 具体的な性能優位性の数値は要旨からは不明。

3. 技術・手法の肝は?

- Embodied AgentOS が language instructions を executable skill graphs に変換。 - robot resources の scheduling、execution monitoring、runtime feedback に基づく clarification や re-planning を実行。 - 3D spatial memory により physical world grounding を実現。 - embodied skills が robot action を担い、3層を coupled に構成。 - 異種 robot models と controllers を統合する仕組みが肝。

4. どうやって有効だと検証した?

- 実 hardware 上に HoloAgent-0 を配備。 - spatial memory、long-horizon navigation、closed-loop execution を評価。 - 評価タスクは motion generation、object search、cross-robot coordination、mobile manipulation。 - 具体的な指標やベースライン比較の詳細は要旨からは不明。

5. 議論はある?

- 物理実行の連続性、embodiment 依存性、不確実性、安全性制約への対応が課題として背景に示される。 - 統合フレームワークの有効性や限界に関する具体的な議論は要旨からは不明。 - 実世界配備における clarification や re-planning の頻度・影響も要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として manipulation、spatial understanding、navigation、humanoid control の各分野の embodied-AI システムが挙げられる。 - 次に読むべき具体論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaolin Zhou, Liu Liu, Tingyang Xiao, Wei Feng, Fa Fu, Xinrui Meng, Xinjie Wang, Jialiang Han, Boyang Yu, Yun Du, Wei Sui, Zhizhong Su

分類: cs.RO, cs.CV

原文アブストラクト

LLM agents follow a practical execution loop in digital environments: they reason over structured states, invoke tools, inspect feedback, and revise actions. Extending this loop to physical robots is difficult because physical execution is continuous, embodiment-dependent, uncertain, and constrained by safety. Existing embodied-AI systems have advanced manipulation, spatial understanding, navigation, and humanoid control, but these capabilities often remain specialized modules or loosely coupled decision loops. In this work, we introduce HoloAgent-0, a unified embodied agent framework for real-world robot deployment. Embodied AgentOS converts language instructions into executable skill graphs, schedules robot resources, monitors execution, and triggers clarification or re-planning from runtime feedback. HoloAgent-0 organizes heterogeneous robot models and controllers through three coupled layers: Embodied AgentOS for closed-loop execution, 3D spatial memory for physical world grounding, and embodied skills for robot action. We deploy HoloAgent-0 on real hardware and evaluate its spatial memory, long-horizon navigation, and closed-loop execution across motion generation, object search, cross-robot coordination, and mobile manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI