マニピュレーション2026/10/12arXiv:2610.17208

DexNinja: 実機からシミュレーションを経て実機へ戻すデータエンジンによる頑健な器用な切断ポリシーの学習

DexNinja: Learning Robust Dexterous Cutting Policy with a Real-to-Sim-to-Real Data Engine

実機の少数のデモからシミュレーションでデータを増強し、食品切断タスクを器用にこなすロボットポリシーを学習するreal2sim2realフレームワークを提案。

詳しい要約

1. どんなもの？

- ロボットによる食品の切断（dexterous cutting）を学習するための real2sim2real フレームワーク「DexNinja」を提案。 - 変形・弾塑性物体との高接触インタラクションを伴う切断タスクを対象。 - 実世界の少数デモから、密で現実的な訓練分布を生成する。 - 実機評価で成功率60%以上、sim-to-realで20%以上の改善、OOD物体への汎化を確認。

2. 先行研究と比べてどこがすごい？

- 実世界データ収集は高コストで食品を汚損・破壊するため、スケーラブルなデータ取得が困難。 - シミュレーションは sim-to-real ギャップが大きく、特に切断のようなトポロジー変化を伴う接触では誤差が蓄積しやすい。 - DexNinja は少数の実デモからカテゴリレベル制約下で物理パラメータをランダム化し、微分可能シミュレータで拡張データを生成。 - これにより実データのみより成功率を20%以上向上させ、OOD物体への汎化も実現。

3. 技術・手法の肝は？

- (i) 実キャプチャから物体インスタンスを再構成。 - (ii) カテゴリレベル制約の下で物理的に意味のあるパラメータをランダム化。 - (iii) ロボット動力学、触覚接触、変形切断を結合したカスタム微分可能シミュレータで拡張された巧みな操作エピソードを生成。 - これらを組み合わせた real2sim2real データエンジン。

4. どうやって有効だと検証した？

- 巧みな食品スライシングタスクで評価。 - 数十の実デモと数百の拡張シミュレータデータで成功率60%以上を達成。 - 実データのみの場合と比較して、sim-to-real により成功率が20%以上一貫して向上。 - 得られたポリシーが形状やサイズの異なる OOD 物体に汎化することを確認。

5. 議論はある？

- 要旨からは不明。 - ただし、切断における接触・摩擦・材料・弾性応答の小さな誤差が蓄積する問題や、sim-to-real ギャップの深刻さが背景として述べられている。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、real2sim2real、微分可能シミュレータ、deformable object manipulation、sim-to-real transfer の定番研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haozhe Lou, Runyi Yang, Wanqi Zhong, Caiyun Liu, Yicheng Liu, Wenhao Liu, Wenlong Ma, Jiawei Xia, Kanzhi Wu, Danda Pani Paudel, Luc Van Gool, Hang Zhao, Yiming Li

分類: cs.RO, cs.CV

原文アブストラクト

Cutting a piece of food looks effortless in human hands. For a robot, however, every cut is a high-contact interaction with a deformable, elasto-plastic object whose behavior changes with pose, contact mode, and cutting stage. Collecting real-world data is expensive and wasteful: each trial typically contaminates or damages the food, so obtaining scalable real world data for dexterous cutting is expensive and difficult. Simulation is an appealing alternative, but a large sim-to-real gap exists in both physics and perception. This gap is especially severe for topology-changing interactions like cutting, where small errors in contact, friction, or material and elasticity responses quickly compound. We propose \textsc{DexNinja}, a real2sim2real framework that turns a handful of real demonstrations into a dense and realistic training distribution. \textsc{DexNinja} (i) reconstructs object instances from real captures, (ii) randomizes physically meaningful parameters under category-level constraints, and (iii) produces augmented dexterous manipulation episodes using a custom differentiable simulator that couples robot dynamics, tactile contact, and deformable cutting. We evaluate \textsc{DexNinja} on a dexterous food-slicing task and show that (1) with tens of real demonstrations and hundreds of augmented simulator data, the success rate could reach more than 60\%. (2) the augmented data consistently improves success rates when only using real data with more than 20\% via sim-to-real, and (3) the resulting policies generalize to out-of-distribution objects with varying shapes and sizes.

arXivで原文を読む →arXiv概要ページ

DexNinja: 実機からシミュレーションを経て実機へ戻すデータエンジンによる頑健な器用な切断ポリシーの学習

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell