日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

器用操作/VLAarXiv:2607.09701

EgoSteer: 自己中心視点ビデオからの操縦可能な器用操作を実現するフルスタックシステム

EgoSteer: A Full-Stack System Towards Steerable Dexterous Manipulation from Egocentric Videos

シェア:XThreadsFacebookLINEはてブBluesky

自己中心視点の人間ビデオから大規模な事前学習データを構築し、言語指示に従う器用なロボット操作ポリシーを学習するフルスタックシステムを提案。実ロボットへの適応も効率的で、多様なタスクで高い成功率を達成した。

詳しい要約

1. どんなもの?

- 一人称視点の人間動画から器用なロボット操作を学習するフルスタックシステム。 - EgoSmith:野生の一人称動画を9.6K時間の高品質事前学習データにキュレーション。 - 遠隔操作と人間参加型修正のための統合ロボットスタック。 - EgoSteer:ワールドモデル強化VLAを最適化インフラで学習。 - 言語誘導操作の事前知識をロボット後学習で接地し、DAggerで改善。 - 40以上の多様なタスクで自由形式指示を実行し、失敗回復・器用さ・汎化を実証。 - 2つの embodiment で箱折りを含む長距離タスクに75%以上の成功率で few-shot 適応。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べ、大規模・言語整合・行動正確な実演データの不足を解決。 - EgoSmith は先行 SOTA より 9倍高いスループットとより良い精度でデータをキュレーション。 - 一人称人間動画からの器用な VLA 事前学習をスケール。 - データ効率的な実ロボット後学習を可能に。 - 具体的な比較対象は要旨からは不明。

3. 技術・手法の肝は?

- EgoSmith:野生の一人称動画をキュレーションするデータパイプライン。 - 統合ロボットスタック:遠隔操作と人間参加型修正をサポート。 - EgoSteer:ワールドモデル強化 VLA を最適化インフラで学習。 - 人間データ事前学習で言語誘導操作の事前知識を獲得。 - ロボット後学習で接地し、DAgger 洗練で改善。

4. どうやって有効だと検証した?

- 40以上の多様なタスクで自由形式指示を実行。 - 失敗回復、器用さ、汎化を実証。 - 事前学習モデルが2つの embodiment で箱折りを含む長距離タスクに few-shot 適応し、75%以上の成功率。 - 具体的な評価指標やベースラインは要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:先行 SOTA(EgoSmith の比較対象)、DAgger、VLA、ワールドモデル。 - 関連手法:EgoSmith、EgoSteer。 - 同分野の定番:RT-1、RT-2、OpenVLA など。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifan Zhong, Zhang Chen, Tianrui Guan, Fanlian Zeng, Yuyao Ye, Tianjia He, Ka Nam Lui, Jiayi Li, Tingrui Zhang, Ruilin Yan, Xinhao Ji, Guangyu Zhao, Wenjie Lou, Jiayuan Zhang, Yuanpei Chen, Yaodong Yang

分類: cs.RO

原文アブストラクト

Steerability is a defining capability of generalist robot policies, yet remains largely absent in dexterous-hand systems for lack of large-scale, language-aligned, and action-accurate demonstration data. To address this bottleneck, we present a full-stack system that scales dexterous VLA pre-training from egocentric human videos and enables data-efficient real-robot post-training. It integrates EgoSmith, a data pipeline that curates in-the-wild egocentric videos into 9.6K hours of high-quality pre-training data with 9x higher throughput and better accuracy than prior SOTA; a unified robot stack for teleoperation and human-in-the-loop correction; and EgoSteer, a world-model-enhanced VLA trained on optimized infrastructure. Human-data pre-training equips EgoSteer with language-guided manipulation priors, which are grounded through robot post-training and improved by DAgger refinement. Empirically, EgoSteer robustly executes free-form instructions across 40+ diverse tasks, demonstrating failure recovery, dexterity, and generalization. The pre-trained model also few-shot adapts to complex long-horizon tasks, including box folding, on two embodiments with 75+% success. We open-source the system, data, and model at https://egosteer.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI