日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/自律エージェントarXiv:2606.27251

孤立したスキルから日常の物理的自律性へ:オムニモーダル具現化エージェントの前進

Advancing Omnimodal Embodied Agents from Isolated Skills to Everyday Physical Autonomy

シェア:XThreadsFacebookLINEはてブBluesky

サイバー空間と物理空間を統合した行動空間、階層的記憶、非同期の視覚的割り込み検証を備えたフレームワークOmniActを提案し、実世界の長期タスクで性能とトークン効率を向上させた。

詳しい要約

1. どんなもの?

- 論文は、非構造環境で持続的に動作するembodied agentを実現するためのフレームワークOmniActを提案。 - cyber(API、IoT)とphysical(manipulation、navigation)のheterogeneous toolsを統合的にorchestrationする。 - 階層的asynchronous architectureでplanning、memory、verificationを分離。 - 40のreal-world long-horizon tasksで評価。

2. 先行研究と比べてどこがすごい?

- 既存のVLM-based plannersはunified cyber-physical action spaceを欠く。 - 既存agent frameworksはunbounded contextでtemporal coherenceが劣化。 - 既存VLA policiesはopen-loopでfailure detectionなし。 - OmniActはこれらを統合し、持続的autonomyを実現。

3. 技術・手法の肝は?

- multimodal semantic plannerがunified action spaceでskill routing。 - adaptive hierarchical memoryがevent-boundary-driven compressionでsub-linear context growthを実現。 - asynchronous visual preemption engineがphysical execution中にsemantic loopを閉じる。 - 階層的asynchronous architectureでplanning、memory、verificationを明示的に分離。

4. どうやって有効だと検証した?

- 2つのrobotic platformsと4つのIoT devicesを連携。 - 40のreal-world long-horizon tasksでend-to-end successを評価。 - 全てのcomplexity levelsで一貫した改善。 - 100k+ accumulated interaction tokensでもtoken consumptionがほぼflat。 - mid-scale open-weight modelsをproprietary-level performanceに引き上げ。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- VLM-based planners, agent frameworks, VLA policiesに関する論文。 - 具体的な参照論文は要旨に記載なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junhao Shi, Zezheng Huai, Siyin Wang, Jia Chen, Yubang Wang, Zhaoye Fei, Hechang Chen, Jingjing Gong, Xipeng Qiu, Yu-Gang Jiang

分類: cs.RO, cs.AI

原文アブストラクト

Building persistent embodied agents in unstructured environments demands unified orchestration of heterogeneous tools spanning both cyber (APIs, IoT) and physical (manipulation, navigation) domains, coupled with autonomous recovery from physical failures that inevitably arise over extended operation. Existing systems treat these as separate problems: VLM-based planners lack a unified cyber-physical action space, agent frameworks accumulate unbounded context that degrades temporal coherence, and VLA policies execute open-loop without detecting their own failures. We argue that persistent autonomy requires not a monolithic model but a hierarchical asynchronous architecture with explicit separation of planning, memory, and verification. To this end, we present OmniAct, a framework integrating a multimodal semantic planner for skill routing across unified action spaces, an adaptive hierarchical memory with event-boundary-driven compression for sub-linear context growth, and an asynchronous visual preemption engine that closes the semantic loop during physical execution. Across 40 real-world long-horizon tasks on two robotic platforms coordinating four IoT devices, OmniAct achieves consistent improvements in end-to-end success across all complexity levels, maintains near-flat token consumption over under 100k+ accumulated interaction tokens, and elevates mid-scale open-weight models to proprietary-level performance.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI