日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2611.03815

AIRoA-0:手持ちデータから学ぶ長期的・高精度・汎用ロボットマニピュレーション

AIRoA-0: Long-Horizon, Precise, Cross-Embodiment Manipulation from Handheld Data

シェア:XThreadsFacebookLINEはてブBluesky

ロボットを使わず手持ちグリッパで記録した1.6万時間超のデモから両手マニピュレーションを学習し、未知環境で78%の成功率を達成したシステム。

詳しい要約

1. どんなもの?

- AIRoA-0 (A-0) は、両手 (bimanual) マニピュレーションシステム - 16,151 時間の handheld demonstrations から学習 - いかなる段階でも robot data を収集していない - demonstrations は open-source handheld gripper の YUBI で記録 - robot が存在しない任意の場所で人が操作データを記録可能 - 単一 instruction から多様なタスクを実行 - 十数個の小部品を番号付きセルへ仕分け - robot vacuum の mop pad と brush の交換 - pencil case の zipper 開け、towel の折り畳み - 各 wrist の camera のみ使用 (head/scene camera なし) - 訓練データを収集していない現場でも動作 - 評価 10 タスクで平均成功率 78% - embodiment-agnostic: YUBI gripper を搭載する bimanual Franka, TX…

2. 先行研究と比べてどこがすごい?

- 同一タスク demonstrations で post-train した他の vision-language-action models 4 種と比較 - 最強の比較手法が 27% に対し、A-0 は平均 78% - 先行研究との違い - teleoperation data を一切収集しない - reinforcement learning も on-robot corrections も不使用 - robot は test time にのみ登場 - データ規模 - 著者らの知る限り、task/subtask instructions 付き handheld-gripper demonstrations の最大の open dataset を公開 - 再現性 - pre-trained weights と post-training recipe を公開 - 誰でも gripper を製作し、4 時間未満・8×H200 GPU 1 node で post-train 可能

3. 技術・手法の肝は?

- YUBI handheld gripper による両手 demonstrations を記録 - robot 不在でデータ収集 - 単一 instruction を入力とする manipulation policy - 各 wrist view のうちタスクに重要な領域を学習 - タスクが到達した stage を予測 - 行動を連続ストリーム (continuous stream) として decode - 入力は各 wrist の camera のみ - head camera や scene camera を使用しない - embodiment-agnostic な設計 - YUBI gripper を搭載する各種 robot で実行可能

4. どうやって有効だと検証した?

- 評価は 10 タスクで実施 - 平均成功率 78% - 比較対象の vision-language-action models 4 種の最強が 27% - 訓練データを記録していない現場で評価 - 具体的タスクで検証 - 十数個の小部品の番号付きセルへの仕分け - robot vacuum の mop pad / brush 交換 - pencil case の zipper 開け - towel の折り畳み - 各タスクの動画を project page (https://a-0.airoa.io) で公開 - 詳細な評価プロトコルは要旨からは不明

5. 議論はある?

- 主張される利点 - robot data・teleoperation・reinforcement learning・on-robot corrections なしで高性能 - handheld data のみで cross-embodiment 動作 - wrist camera のみで動作 - 公開による再現性・拡張性 - dataset、pre-trained weights、post-training recipe を公開 - 4 時間未満・8×H200 GPU 1 node で post-train 可能と主張 - 制約・議論点 - 評価は 10 タスク・平均成功率 78% で、失敗例の分析は要旨からは不明 - 比較は同一タスク demonstrations で post-train した 4 モデルに限定 - 汎化範囲や限界は要旨からは不明

6. 次に読むべき論文は?

- 比較対象として言及された vision-language-action models 4 種 - 具体的名称は要旨からは不明 - 関連手法・要素技術として挙げられるもの - vision-language-action models - handheld demonstrations / handheld gripper (YUBI) - bimanual manipulation - cross-embodiment / embodiment-agnostic learning - post-training - 同分野の定番として参照可能な一般名 - imitation learning - behavior cloning - teleoperation-based data collection - reinforcement learning - 具体的な個別論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yueh-Hua Wu, Kei Ota, Hanlong Li, Hayata Yuasa, Jason Wang, Kengo Ikeuchi, Kensuke Chiyoma, Makoto Sugiura, Masafumi Takahashi, Masatoshi Tateno, Naoaki Kanazawa, Nicola Scianca, Petr Khrapchenkov, Satoshi Otsubo, Takehiko Ohkawa, Takuya Okubo, Tatsuya Matsushima, Yuki Noguchi, Yuma Shin, Zixuan Zhong

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

AIRoA-0 (A-0) is a bimanual manipulation system learned from 16,151 hours of handheld demonstrations, with no robot data collected at any stage. The demonstrations are recorded with YUBI, our open-source handheld gripper, which lets people record manipulation data anywhere with no robot present. From a single instruction, A-0 sorts more than a dozen small parts into their numbered cells and changes the mop pads and brush of a robot vacuum; among other tasks, it unzips a pencil case and folds a towel. It performs these tasks using only a camera on each wrist, with no head or scene camera, at a site where none of its training data was recorded. Across the ten tasks of our evaluation, it averages a success rate of 78%, against 27% for the strongest of four other vision-language-action models post-trained on the same task demonstrations. We collect no teleoperation data and use no reinforcement learning or on-robot corrections, and the robot appears only at test time. The system learns which regions of each wrist view matter for the task, predicts the stage the task has reached, and decodes actions as a continuous stream. A-0 is embodiment-agnostic: it runs on robots that mount the YUBI gripper, such as a bimanual Franka, TX-G2, OpenArm and UR. We are releasing the dataset, to our knowledge the largest open dataset of handheld-gripper demonstrations with task and subtask instructions, together with the pre-trained weights and the post-training recipe. Videos of A-0 on every task are on the project page, https://a-0.airoa.io. Anyone can build the gripper, record a task of their own and post-train the model on it in under four hours on a single node of eight H200 GPUs.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI