日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2509.22970

あらゆる画像からのロボット学習

Robot Learning from Any Images

シェア:XThreadsFacebookLINEはてブBluesky

1枚の画像から物理シミュレーション可能なロボット環境を生成し、大規模な視覚運動デモンストレーションデータを自動収集するフレームワークRoLAを提案。

詳しい要約

1. どんなもの?

- 任意のin-the-wild画像から、インタラクティブでphysics-enabledなロボティック環境を生成するフレームワークRoLAを提案 - 単一画像のみを入力とし、追加ハードウェアやデジタルアセットを必要としない - カメラ撮影画像、ロボティックデータセット、Internet画像など多様な画像源から、数分で大量のvisuomotorロボティックデモンストレーションを生成 - 応用としてスケーラブルなロボットデータ生成・拡張、Internet画像からのロボット学習、マニピュレータやhumanoid向けのsingle-image real-to-sim-to-realシステムを想定

2. 先行研究と比べてどこがすごい?

- 従来手法と異なり、単一画像のみで動作し、追加ハードウェアやデジタルアセットを不要とする点が特徴 - 多様な画像源から数分で大量のvisuomotorデモを生成でき、ロボティックデータ生成を民主化(democratize)する点を主張 - 具体的な先行研究名や定量的比較は要旨からは不明

3. 技術・手法の肝は?

- 中核は、単一視点からの物理シーン復元(single-view physical scene recovery)の新手法と、photorealisticなデータ収集のための効率的なvisual blending戦略の組み合わせ - 単一画像からphysics-enabledなインタラクティブ環境を構築し、visuomotorデモを生成 - 各構成要素の詳細なアルゴリズムは要旨からは不明

4. どうやって有効だと検証した?

- スケーラブルなロボティックデータ生成・拡張、Internet画像からのロボット学習、マニピュレータおよびhumanoid向けのsingle-image real-to-sim-to-realシステムへの応用を示すことで有効性を実証 - 定量的評価指標やベースライン比較の詳細は要旨からは不明 - 映像結果はプロジェクトページで公開

5. 議論はある?

- 単一画像からの物理シーン復元の限界や、生成データのsim-to-realギャップ、visual blendingのphotorealistic性に関する議論が想定されるが、要旨からは不明 - 著者らはロボティックデータ生成の民主化と多様な応用可能性を主張

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として、single-view 3D/scene reconstruction、real-to-sim-to-real、sim-to-real transfer、visuomotor policy learning、data augmentation for robot learningなどの定番分野の論文を次に読むべき候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siheng Zhao, Jiageng Mao, Wei Chow, Zeyu Shangguan, Tianheng Shi, Rong Xue, Yuxi Zheng, Yijia Weng, Yang You, Daniel Seita, Leonidas Guibas, Sergey Zakharov, Vitor Guizilini, Yue Wang

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

We introduce RoLA, a framework that transforms any in-the-wild image into an interactive, physics-enabled robotic environment. Unlike previous methods, RoLA operates directly on a single image without requiring additional hardware or digital assets. Our framework democratizes robotic data generation by producing massive visuomotor robotic demonstrations within minutes from a wide range of image sources, including camera captures, robotic datasets, and Internet images. At its core, our approach combines a novel method for single-view physical scene recovery with an efficient visual blending strategy for photorealistic data collection. We demonstrate RoLA's versatility across applications like scalable robotic data generation and augmentation, robot learning from Internet images, and single-image real-to-sim-to-real systems for manipulators and humanoids. Video results are available at https://sihengz02.github.io/RoLA .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI