日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.04515

EgoActor: 視覚言語モデルによるヒューマノイドロボットの空間認識型一人称視点行動へのタスク計画の接地

EgoActor: Grounding Task Planning into Spatial-aware Egocentric Actions for Humanoid Robots via Visual-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

一人称視覚言語モデルEgoActorを提案し、高レベル指示から歩行・頭部動作・操作コマンドを直接予測してヒューマノイドの知覚と実行をリアルタイムに統合する。

詳しい要約

1. どんなもの?

- ヒューマノイドロボットを実世界で展開するための新しいタスク「EgoActing」を提案。 - 高レベルの指示を、空間認識を伴う様々なヒューマノイド動作に直接グラウンディングすることを要求。 - このタスクを実現するために、EgoActorという統一的な視覚言語モデル(VLM)を導入。 - EgoActorは、歩行・旋回・横移動・高さ変更などの移動プリミティブ、頭部動作、操作コマンド、人間-ロボットインタラクションを予測可能。 - 知覚と実行をリアルタイムで調整する。

2. 先行研究と比べてどこがすごい?

- 従来の研究では、知覚・移動・操作の統合や、部分的観測・動的環境下でのサブタスク間の堅牢な移行が困難であった。 - EgoActorは、これらの課題に対処するために、高レベルの指示を直接空間認識を伴う動作にグラウンディングする新しいタスクを設定。 - 単一のVLMで多様な動作を予測し、リアルタイム推論(1秒未満)を実現。 - 8Bおよび4Bパラメータモデルで動作し、シミュレーションと実世界の両方で評価。 - 多様なタスクや未見環境への汎化性能を示す。

3. 技術・手法の肝は?

- 一人称視点のRGBのみのデータ、空間推論の質問応答、シミュレーション環境のデモンストレーションから広範な教師信号を活用。 - これにより、EgoActorは堅牢で文脈を考慮した意思決定を行い、流暢な動作推論を実行。 - 移動プリミティブ、頭部動作、操作コマンド、人間-ロボットインタラクションを統合的に予測。 - 8Bおよび4Bパラメータモデルで1秒未満の推論を実現。

4. どうやって有効だと検証した?

- シミュレーション環境と実世界環境の両方で広範な評価を実施。 - EgoActorが抽象的なタスク計画と具体的な運動実行を効果的に橋渡しすることを示す。 - 多様なタスクや未見環境への汎化性能を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Vision-Language Models (VLM) や、ヒューマノイドロボットのタスク計画・動作生成に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yu Bai, MingMing Yu, Chaojie Li, Ziyi Bai, Xinlong Wang, Börje F. Karlsson

分類: cs.RO, cs.CV

原文アブストラクト

Deploying humanoid robots in real-world settings is fundamentally challenging, as it demands tight integration of perception, locomotion, and manipulation under partial-information observations and dynamically changing environments. As well as transitioning robustly between sub-tasks of different types. Towards addressing these challenges, we propose a novel task - EgoActing, which requires directly grounding high-level instructions into various, precise, spatially aware humanoid actions. We further instantiate this task by introducing EgoActor, a unified and scalable vision-language model (VLM) that can predict locomotion primitives (e.g., walk, turn, move sideways, change height), head movements, manipulation commands, and human-robot interactions to coordinate perception and execution in real-time. We leverage broad supervision over egocentric RGB-only data from real-world demonstrations, spatial reasoning question-answering, and simulated environment demonstrations, enabling EgoActor to make robust, context-aware decisions and perform fluent action inference (under 1s) with both 8B and 4B parameter models. Extensive evaluations in both simulated and real-world environments demonstrate that EgoActor effectively bridges abstract task planning and concrete motor execution, while generalizing across diverse tasks and unseen environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI