日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2511.22777

NICEシーン手術によるロボットマニピュレーションのロバスト性向上

Improving Robotic Manipulation Robustness via NICE Scene Surgery

シェア:XThreadsFacebookLINEはてブBluesky

既存の実演データに画像生成とLLMで物体の置換・再スタイル化・除去を行い、追加データ収集なしで模倣学習のOODギャップを減らし、マニピュレーション成功率を平均11%向上させた。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための視覚運動方策の頑健性向上フレームワーク NICE (Naturalistic Inpainting for Context Enhancement) - 既存のデモンストレーションから新しい経験を構築し、視覚的多様性を増やすことで imitation learning の OOD gap を最小化 - image generative frameworks と large language models を利用し、object replacement, restyling, removal of distracting (non-target) objects の3編集操作を実施 - 追加の robot data collection、simulator access、custom model training を必要としない

2. 先行研究と比べてどこがすごい?

- 従来手法と異なり、追加の robot data collection や simulator access、custom model training が不要 - 既存の robotic datasets にそのまま適用可能 - 編集操作が spatial relationships を保持し、target objects を遮蔽せず、action-label consistency を維持 - 実世界シーンで photo-realistic な scene enhancement を実現

3. 技術・手法の肝は?

- image generative frameworks と large language models を活用 - object replacement, restyling, removal of distracting (non-target) objects の3つの編集操作 - 編集時に spatial relationships を保持し、target objects を遮蔽しない - action-label consistency を維持 - 生成データで VLM (vision-language model) を spatial affordance prediction 用に、VLA (vision-language-action) policy を object manipulation 用に finetune

4. どうやって有効だと検証した?

- 実世界シーンで photo-realistic な scene enhancement の能力を提示 - NICE データで finetune した VLM による spatial affordance prediction: 高 clutter シーンで accuracy が 20% 以上向上 - VLA policy による manipulation: 異なる量の distractors が存在する環境で success rate が平均 11% 向上 - visual robustness 向上により target confusion が 6% 低下 - safety 向上により collision rate が 7% 低下

5. 議論はある?

- 要旨からは不明(具体的な限界や議論の詳細は記述されていない)

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法として imitation learning、vision-language model (VLM)、vision-language-action (VLA) policy、image generative frameworks、large language models が挙げられる - 同分野の定番として robotic manipulation における visuomotor policy learning や data augmentation 関連の論文が考えられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sajjad Pakdamansavoji, Mozhgan Pourkeshavarz, Adam Sigal, Zhiyuan Li, Rui Heng Yang, Amir Rasouli

分類: cs.RO, cs.AI

原文アブストラクト

Learning robust visuomotor policies for robotic manipulation remains a challenge in real-world settings, where visual distractors can significantly degrade performance and safety. In this work, we propose an effective and scalable framework, Naturalistic Inpainting for Context Enhancement (NICE). Our method minimizes out-of-distribution (OOD) gap in imitation learning by increasing visual diversity through construction of new experiences using existing demonstrations. By utilizing image generative frameworks and large language models, NICE performs three editing operations, object replacement, restyling, and removal of distracting (non-target) objects. These changes preserve spatial relationships without obstructing target objects and maintain action-label consistency. Unlike previous approaches, NICE requires no additional robot data collection, simulator access, or custom model training, making it readily applicable to existing robotic datasets. Using real-world scenes, we showcase the capability of our framework in producing photo-realistic scene enhancement. For downstream tasks, we use NICE data to finetune a vision-language model (VLM) for spatial affordance prediction and a vision-language-action (VLA) policy for object manipulation. Our evaluations show that NICE successfully minimizes OOD gaps, resulting in over 20% improvement in accuracy for affordance prediction in highly cluttered scenes. For manipulation tasks, success rate increases on average by 11% when testing in environments populated with distractors in different quantities. Furthermore, we show that our method improves visual robustness, lowering target confusion by 6%, and enhances safety by reducing collision rate by 7%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI