日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.08107

Ego-Pi: 自己中心視点の人間・ロボットデータによるVLAファインチューニング

Ego-Pi: VLA Fine-Tuning for Ego-Centric Human and Robot Data

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作のデータ不足を解決するため、自己中心視点の人間データを活用してVLAモデルをファインチューニングし、ロボットが新しいタスクの意味を学習し、既存スキルを組み合わせて新行動を生み出せることを示した論文。

詳しい要約

1. どんなもの?

- ロボット操作のデータ不足を解決するため、egocentricな人間データを活用する研究。 - 5本指のdexterous handを持つ人間とhumanoidのembodimentを横断して学習する設計を検討。 - 基盤モデルとして$π_{0.5}$を用い、VLAのfine-tuningを行う。 - 人間データにより、対応するロボットデータなしで新規タスクのsemantics学習や既存skillの新行動へのcompositionが可能かを調べる。

2. 先行研究と比べてどこがすごい?

- 従来はロボット操作にinternet-scaleのデータセットが存在せず、データ不足が根本課題だった。 - 言語やvision研究と異なり大規模データが使えない中、egocentricな人間データを活用する道を示す。 - 人間とhumanoidのembodiment間の学習設計を検討し、人間データのみで新規タスクsemanticsやskill compositionが可能なことを示す点が新しい。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は?

- 基盤モデルとして$π_{0.5}$を採用し、VLAのfine-tuningを行う。 - egocentricな人間データとhumanoidロボットデータを横断して学習する設計を検討。 - 5本指のdexterous handを備えたembodiment間での学習を扱う。 - 人間データを用いて、対応するロボットデータなしに新規タスクsemanticsの学習や既存skillのcompositionを狙う。

4. どうやって有効だと検証した?

- 人間データにより、対応するロボットデータなしで新規タスクsemanticsを学習できることを示した。 - 既存skillを新規behaviorへcompositionできることを示した。 - 具体的な実験設定・評価指標・データセット規模は要旨からは不明。

5. 議論はある?

- 人間データがロボットの新規タスクsemantics学習やskill compositionに有効である点を議論。 - 人間とhumanoidのembodimentを跨ぐ学習設計の選択肢を検討。 - 限界や課題、今後の方向性についての具体的な議論は要旨からは不明。

6. 次に読むべき論文は?

- 基盤モデルとして用いられた$π_{0.5}$。 - 関連手法としてVLA (Vision-Language-Action) モデル。 - egocentric human dataを活用するロボット学習の研究。 - 要旨で参照・比較されている個別の先行研究は明示されていないため、同分野の定番として上記を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ji Woong Kim, Ke Wang, Zipeng Fu, Sirui Chen, Cong Zhao, Jeff Lai, Chelsea Finn

分類: cs.RO, cs.AI

原文アブストラクト

Robotics faces a fundamental challenge of data scarcity. Unlike language or vision research, there is no internet-scale dataset for robotic manipulation. A promising path forward is to leverage egocentric human data, which can be collected more easily, with greater breadth, and at a larger scale. Towards this end, we investigate key design choices for learning across human and humanoid embodiments equipped with dexterous five-finger hands, using the $π_{0.5}$ model as a foundation. Our results show that human data enables robots to learn new task semantics and compose existing skills into novel behaviors without corresponding robot data. The paper website is here: https://egopipaper.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI