マニピュレーション2026/2/1arXiv:2602.11885

何を操作するかを見極める：意味的操作のためのバウンディングボックス誘導方策におけるデータスケーリング則の解明

Choose What to Manipulate: Revealing Data Scaling Laws in Bounding-Box Guided Policies for Semantic Manipulation

バウンディングボックス指示で対象物体を直接指定する拡散方策を提案し、手持ち型セグメンテーションデバイスLabel-UMIで収集した6,400件の実世界デモにより、汎化性能が飽和型のデータスケーリング則に従うことを示した。

詳しい要約

1. どんなもの？

- 意味的操作(semantic manipulation)における拡散ベース方策の汎化性能を改善する研究。 - テキスト指示ではなくbounding-box指示で対象物体を直接指定する。 - Label-UMIという手持ちセグメンテーション装置と自動アノテーションパイプラインを構築。 - 物体検出とbounding-box誘導拡散方策を結合したsemantic-motion-decoupledフレームワークを提案。 - データ量と性能の関係(データスケーリング則)を実世界4タスク・6,400デモで検証。

2. 先行研究と比べてどこがすごい？

- 従来の拡散方策はtext-only指示で混雑・動的シーンでの対象指定が不安定。 - 本研究はbounding-box指示により対象を直接指定し、汎化を改善。 - データスケーリング則が有界で飽和することを示し、逓減効果を明らかにした。 - object-diversity-first収集戦略を蒸留し、混雑シーンで85%成功を達成。 - データとコードを公開予定。

3. 技術・手法の肝は？

- Label-UMI: 手持ちセグメンテーション装置と自動アノテーションで意味ラベル付きデモを効率的に収集。 - semantic-motion-decoupledフレームワーク: 物体検出とbounding-box誘導拡散方策を結合。 - first-frame anchoring機構: 検出漏れやノイズのあるboxに対して実行を頑健化。 - データスケーリング則を分析し、object-diversity-first収集戦略を導出。

4. どうやって有効だと検証した？

- 実世界4タスクで6,400デモを用いて検証。 - 汎化が有界で飽和するデータスケーリング則に従うことを確認。 - 蒸留したobject-diversity-first収集戦略が混雑シーンで85%成功を達成。

5. 議論はある？

- データスケーリング則が有界で飽和し、逓減効果があることを議論。 - 混雑シーンでの性能向上と収集戦略の有効性を示す。 - その他の限界や議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてdiffusion policy、bounding-box guided policy、semantic manipulation、data scaling lawsが挙げられる。 - 同分野の定番としてimitation learning、object detection、segmentation、handheld data collection devicesが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yihao Wu, Jinming Ma, Junbo Tan, Yanzhao Yu, Shoujie Li, Mingliang Zhou, Diyun Xiang, Xueqian Wang

分類: cs.RO

原文アブストラクト

Diffusion-based policies generalize poorly in semantic manipulation, a key obstacle to real-world deployment, because text-only instructions cannot reliably steer the policy toward the target object in cluttered, dynamic scenes. We instead use bounding-box instructions to specify the target directly, and study how performance scales with data. To this end, we build Label-UMI, a handheld segmentation device with an automated annotation pipeline for efficiently collecting semantically labeled demonstrations, and propose a semantic-motion-decoupled framework that couples object detection with a bounding-box-guided diffusion policy; a first-frame anchoring mechanism keeps execution robust to missed detections and noisy boxes. We find that generalization follows a bounded, saturating data-scaling law with diminishing returns, validated on four real-world tasks with 6,400 demonstrations, and distill an object-diversity-first collection strategy reaching 85\% success in cluttered scenes. All data and code will be released.

arXivで原文を読む →arXiv概要ページ

何を操作するかを見極める：意味的操作のためのバウンディングボックス誘導方策におけるデータスケーリング則の解明

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell