日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ヒューマノイドエージェントarXiv:2604.08509

視覚に基づくヒューマノイドエージェント

Visually-grounded Humanoid Agents

シェア:XThreadsFacebookLINEはてブBluesky

実世界の3Dシーンを再構築し、デジタル人間が視覚情報のみで目標指向の自律行動をとるためのフレームワークを提案した論文。

詳しい要約

1. どんなもの?

- 実世界の3Dシーンで視覚のみから自律的に行動するデジタルヒューマンを生成するVisually-grounded Humanoid Agentsを提案。 - World LayerとAgent Layerの二層構造。 - World Layerは動画から意味的に豊かな3D Gaussianシーンを再構成し、アニメータブルなGaussianベースのヒューマンアバターを配置。 - Agent Layerはアバターを自律エージェント化し、一人称RGB-D知覚と身体的計画・全身行動を可能にする。 - 多様な再構成環境でのhumanoid-scene interactionベンチマークも導入。

2. 先行研究と比べてどこがすごい?

- 既存のデジタルヒューマン生成は受動的アニメーションが主流で、特権的状態やスクリプト制御に依存し、新規環境へのスケーラビリティが限られる。 - 本研究は視覚観測と目標のみで新規シーン内を能動的に行動できる点が新しい。 - これにより任意の3D環境に自発的・自然・目標指向のデジタルヒューマンを大規模に配置可能。 - 実験ではablationやstate-of-the-art planning手法より高いタスク成功率と少ない衝突を達成。

3. 技術・手法の肝は?

- 二層(World-Agent)パラダイムで人間を多レベル再現。 - World Layer: occlusion-aware pipelineで実世界動画から意味的に豊かな3D Gaussianシーンを再構成し、アニメータブルGaussianヒューマンアバターを収容。 - Agent Layer: アバターを自律humanoid agent化し、一人称RGB-D知覚を装備。 - 空間認識と反復推論を伴う正確なembodied planningを実行し、低レベルで全身行動としてシーン内行動を駆動。

4. どうやって有効だと検証した?

- 多様な再構成環境でのhumanoid-scene interactionベンチマークを導入して評価。 - 実験で提案エージェントが堅牢な自律行動を示し、ablationやstate-of-the-art planning手法より高いタスク成功率と少ない衝突を達成。 - 詳細な評価プロトコルや指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 限界、失敗事例、計算コスト、倫理的影響などの議論は要旨に記載なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: state-of-the-art planning methods、ablation studies。 - 関連手法: 3D Gaussian Splatting、embodied planning、humanoid-scene interaction。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hang Ye, Xiaoxuan Ma, Fan Lu, Wayne Wu, Kwan-Yee Lin, Yizhou Wang

分類: cs.CV, cs.RO

原文アブストラクト

Digital human generation has been studied for decades and supports a wide range of real-world applications. However, most existing systems are passively animated, relying on privileged state or scripted control, which limits scalability to novel environments. We instead ask: how can digital humans actively behave using only visual observations and specified goals in novel scenes? Achieving this would enable populating any 3D environments with digital humans at scale that exhibit spontaneous, natural, goal-directed behaviors. To this end, we introduce Visually-grounded Humanoid Agents, a coupled two-layer (world-agent) paradigm that replicates humans at multiple levels: they look, perceive, reason, and behave like real people in real-world 3D scenes. The World Layer reconstructs semantically rich 3D Gaussian scenes from real-world videos via an occlusion-aware pipeline and accommodates animatable Gaussian-based human avatars. The Agent Layer transforms these avatars into autonomous humanoid agents, equipping them with first-person RGB-D perception and enabling them to perform accurate, embodied planning with spatial awareness and iterative reasoning, which is then executed at the low level as full-body actions to drive their behaviors in the scene. We further introduce a benchmark to evaluate humanoid-scene interaction in diverse reconstructed environments. Experiments show our agents achieve robust autonomous behavior, yielding higher task success rates and fewer collisions than ablations and state-of-the-art planning methods. This work enables active digital human population and advances human-centric embodied AI. Data, code, and models will be open-sourced.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI