日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2602.14032

RoboAug: 領域対比データ拡張による単一アノテーションから数百シーンへのロボットマニピュレーション

RoboAug: One Annotation to Hundreds of Scenes via Region-Contrastive Data Augmentation for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

1枚の画像のバウンディングボックス注釈だけで生成モデルと領域対比損失を用いてデータ拡張を行い、ロボットマニピュレーションの汎化性能を向上させる手法を提案。

詳しい要約

1. どんなもの？

- ロボットマニピュレーションのための生成的数据拡張フレームワーク RoboAug を提案。 - 訓練時に単一画像の bounding box 注釈のみを要求し、大規模事前学習や完全な物体検出仮定への依存を大幅に低減。 - 事前学習済み生成モデルによる意味的データ拡張と、plug-and-play の region-contrastive loss を統合。 - 多様な未見シーンでの汎化性能とタスク成功率の向上を目指す。

2. 先行研究と比べてどこがすごい？

- 既存手法は大規模データ収集による事前学習に依存し、労力と時間がかかる。 - また意味的データ拡張は実世界での完全な上流物体検出という非現実的仮定を必要とする。 - RoboAug は単一画像の bounding box 注釈のみで、これらの制約を大幅に緩和。 - 実世界実験で state-of-the-art なデータ拡張ベースラインを大きく上回る。

3. 技術・手法の肝は？

- 単一画像の bounding box 注釈という最小情報を利用。 - 事前学習済み生成モデルを用いて precise な意味的データ拡張を実施。 - plug-and-play の region-contrastive loss を統合し、タスク関連領域にモデルを集中させる。 - これにより汎化性能とタスク成功率を向上させる。

4. どうやって有効だと検証した？

- UR-5e、AgileX、Tien Kung 2.0 の3ロボットで実世界実験を実施。 - 35k を超える rollouts を実行。 - 背景・distractor・照明条件の多様な組み合わせを含む未見シーンで汎化性能を評価。 - 成功率が UR-5e で 0.09→0.47、AgileX で 0.16→0.60、Tien Kung 2.0 で 0.19→0.67 に向上。

5. 議論はある？

- 要旨からは不明。 - ただし、提案手法が実世界マニピュレーションタスクにおける優れた汎化性能と有効性を強調している。

6. 次に読むべき論文は？

- 要旨で参照/比較されている具体的な研究名は明示されていない。 - 関連手法として、大規模データ収集による事前学習、意味的データ拡張、state-of-the-art なデータ拡張ベースラインが挙げられる。 - 同分野の定番として、robotic manipulation における data augmentation や generative data augmentation の研究が次に読むべき候補。 - プロジェクトページ: https://x-roboaug.github.io/

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinhua Wang, Kun Wu, Zhen Zhao, Hu Cao, Yinuo Zhao, Zhiyuan Xu, Meng Li, Shichao Fan, Di Wu, Yixue Zhang, Ning Liu, Zhengping Che, Jian Tang

分類: cs.RO

原文アブストラクト

Enhancing the generalization capability of robotic learning to enable robots to operate effectively in diverse, unseen scenes is a fundamental and challenging problem. Existing approaches often depend on pretraining with large-scale data collection, which is labor-intensive and time-consuming, or on semantic data augmentation techniques that necessitate an impractical assumption of flawless upstream object detection in real-world scenarios. In this work, we propose RoboAug, a novel generative data augmentation framework that significantly minimizes the reliance on large-scale pretraining and the perfect visual recognition assumption by requiring only the bounding box annotation of a single image during training. Leveraging this minimal information, RoboAug employs pre-trained generative models for precise semantic data augmentation and integrates a plug-and-play region-contrastive loss to help models focus on task-relevant regions, thereby improving generalization and boosting task success rates. We conduct extensive real-world experiments on three robots, namely UR-5e, AgileX, and Tien Kung 2.0, spanning over 35k rollouts. Empirical results demonstrate that RoboAug significantly outperforms state-of-the-art data augmentation baselines. Specifically, when evaluating generalization capabilities in unseen scenes featuring diverse combinations of backgrounds, distractors, and lighting conditions, our method achieves substantial gains over the baseline without augmentation. The success rates increase from 0.09 to 0.47 on UR-5e, from 0.16 to 0.60 on AgileX, and from 0.19 to 0.67 on Tien Kung 2.0. These results highlight the superior generalization and effectiveness of RoboAug in real-world manipulation tasks. Our project is available at https://x-roboaug.github.io/.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →