日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.04600

見て、感じて、動く:大規模一人称視点人間データから能動的知覚を学ぶ

Act, Sense, Act: Learning Active Perception from Large-Scale Egocentric Human Data

シェア:XThreadsFacebookLINEはてブBluesky

大規模な一人称視点の人間データを活用し、情報を能動的に集めながら操作するVLAフレームワークCoMe-VLAを提案。記憶機構と認知補助により多様な長期タスクで高い適応性を示した。

詳しい要約

1. どんなもの?

- 能動的知覚(active perception)を、情報探索行動と意思決定分岐による履歴依存の知覚-行動ループとして定式化し、視覚的能動知覚のパラダイムを構造的に分類。 - 大規模な一人称視点(egocentric)人間データを活用し、多様な探索と操作の事前知識を学習する認知・記憶対応のVLAフレームワーク「CoMe-VLA」を提案。 - 認知補助ヘッドによる自律的サブタスク遷移と、固有感覚・視覚の時間的文脈を融合する二重トラック記憶システムを統合。 - 人間とロボットの手眼協調行動を統一的な一人称行動空間で整合させ、3段階で段階的に学習。 - 車輪型ヒューマノイドで長期的タスクにおける堅牢性と適応性を実証。

2. 先行研究と比べてどこがすごい?

- 既存手法は限られた種類のセンシング行動に留まり、複雑環境への適用が制限されていた。 - 本研究は能動知覚を履歴依存の知覚-行動ループとして形式化し、視覚的能動知覚のパラダイムを構造的に分類することで、適用範囲を拡大。 - 大規模一人称人間データを利用して多様な探索・操作の事前知識を学習し、従来の制約を克服。 - 認知補助ヘッドと二重トラック記憶により、自律的サブタスク遷移と自己・環境認識の一貫性を実現。

3. 技術・手法の肝は?

- 能動知覚を「情報探索行動」と「意思決定分岐」による履歴依存の知覚-行動ループとして定式化。 - CoMe-VLA:認知・記憶対応のVLAフレームワーク。 - 認知補助ヘッド:自律的サブタスク遷移を実現。 - 二重トラック記憶システム:固有感覚と視覚の時間的文脈を融合し、自己と環境の一貫した認識を維持。 - 人間とロボットの手眼協調行動を統一的な一人称行動空間で整合。 - 3段階の漸進的学習。

4. どうやって有効だと検証した?

- 車輪型ヒューマノイドを用いた広範な実験を実施。 - 複数の能動知覚シナリオにまたがる多様な長期的タスクにおいて、提案手法の強い堅牢性と適応性を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、Vision-Language-Action (VLA) モデル、能動知覚(active perception)に関する研究、一人称視点(egocentric)データを用いたロボット学習が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jialiang Li, Yi Qiao, Yunhan Guo, Changwen Chen, Wenzhao Lian

分類: cs.RO

原文アブストラクト

Achieving generalizable manipulation in unconstrained environments requires the robot to proactively resolve information uncertainty, i.e., the capability of active perception. However, existing methods are often confined in limited types of sensing behaviors, restricting their applicability to complex environments. In this work, we formalize active perception as a history-dependent perception-action loop driven by information-seeking action and decision branching, providing a structured categorization of visual active perception paradigms. Building on this perspective, we introduce CoMe-VLA, a cognitive and memory-aware vision-language-action (VLA) framework that leverages large-scale human egocentric data to learn versatile exploration and manipulation priors. Our framework integrates a cognitive auxiliary head for autonomous sub-task transitions and a dual-track memory system to maintain consistent self and environmental awareness by fusing proprioceptive and visual temporal contexts. By aligning human and robot hand-eye coordination behaviors in a unified egocentric action space, we train the model progressively in three stages. Extensive experiments on a wheel-based humanoid have demonstrated strong robustness and adaptability of our proposed method across diverse long-horizon tasks spanning multiple active perception scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI