日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2602.18742

RoboCurate: 行動検証済みニューラル軌道による多様性を活かしたロボット学習

RoboCurate: Harnessing Diversity with Action-Verified Neural Trajectory for Robot Learning

シェア:XThreadsFacebookLINEはてブBluesky

生成ビデオから得たロボット行動をシミュレータで再生し、映像との動きの一致度で品質を評価・選別する合成データ生成フレームワークを提案。実データのみの場合と比べ成功率を大幅に改善した。

詳しい要約

1. どんなもの?

- ロボット学習向けの合成データ生成フレームワークRoboCurateを提案。 - ビデオ生成モデルによる合成データのアクション品質を、シミュレータで再現して評価・フィルタリングする。 - 画像編集とビデオ変換で観察多様性を拡張する。

2. 先行研究と比べてどこがすごい?

- 従来のVLMによるビデオ品質検証は物理的正確性の判別が難しく、生成アクション自体を直接評価できない。 - RoboCurateはシミュレータリプレイとの運動一致性でアクション品質を評価する点が新しい。 - 実データのみと比べ成功率が大幅改善(GR-1 Tabletopで+70.1%、DexMimicGen事前学習で+16.1%、ALLEXで+179.9%)。

3. 技術・手法の肝は?

- 予測アクションをシミュレータでリプレイし、生成ビデオとの運動一致性を測定して品質を評価。 - 画像から画像への編集で観察多様性を拡張。 - アクション保存型のビデオからビデオへの変換で外観をさらに拡張。

4. どうやって有効だと検証した?

- GR-1 Tabletop(300デモ)で実データのみと比較し成功率+70.1%。 - DexMimicGenの事前学習設定で+16.1%。 - 実世界のALLEXヒューマノイド巧みな操作設定で+179.9%。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されているVLMによるビデオ品質検証、GR-1 Tabletop、DexMimicGen、ALLEXに関連する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seungku Kim, Suhyeok Jang, Byungjun Yoon, Dongyoung Kim, John Won, Jinwoo Shin

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Synthetic data generated by video generative models has shown promise for robot learning as a scalable pipeline, but it often suffers from inconsistent action quality due to imperfectly generated videos. Recently, vision-language models (VLMs) have been leveraged to validate video quality, but they have limitations in distinguishing physically accurate videos and, even then, cannot directly evaluate the generated actions themselves. To tackle this issue, we introduce RoboCurate, a novel synthetic robot data generation framework that evaluates and filters the quality of annotated actions by comparing them with simulation replay. Specifically, RoboCurate replays the predicted actions in a simulator and assesses action quality by measuring the consistency of motion between the simulator rollout and the generated video. In addition, we unlock observation diversity beyond the available dataset via image-to-image editing and apply action-preserving video-to-video transfer to further augment appearance. We observe RoboCurate's generated data yield substantial relative improvements in success rates compared to using real data only, achieving +70.1% on GR-1 Tabletop (300 demos), +16.1% on DexMimicGen in the pre-training setup, and +179.9% in the challenging real-world ALLEX humanoid dexterous manipulation setting.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI