日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2602.16863

SimToolReal: 物体中心方策によるゼロショット巧みな道具操作

SimToolReal: An Object-Centric Policy for Zero-Shot Dexterous Tool Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

多様な道具形状をシミュレーションで大量生成し、ランダムな目標姿勢へ操作する単一の強化学習方策を訓練することで、実機で未知の道具をゼロショットで巧みに操作できるようにした研究。

詳しい要約

1. どんなもの?

- 提案手法: SimToolReal - 目的: ロボットによる道具操作の汎化 - 特徴: 物体中心のポリシーでゼロショット器用操作 - 手法: sim-to-real強化学習(RL) - 対象: 多様な道具様物体 - 成果: 実世界で120ロールアウト、24タスク、12物体、6カテゴリで高性能

2. 先行研究と比べてどこがすごい?

- 先行研究: リターゲティングや固定把持法 - 性能比較: SimToolRealが37%上回る - 専門家RLポリシー: 特定物体・タスク訓練と同等性能 - 利点: 物体・タスク特化訓練不要 - 汎化性: 多様な道具でゼロショット成功

3. 技術・手法の肝は?

- 核心: 物体中心のRLポリシー - 訓練: シミュレーションで手続き生成した多様な道具様物体 - 目標: 各物体をランダムな目標姿勢に操作 - 単一ポリシー: 普遍的目標で訓練 - テスト時: 物体・タスク特化なしで操作

4. どうやって有効だと検証した?

- 実世界検証: 120ロールアウト - 範囲: 24タスク、12物体インスタンス、6道具カテゴリ - 比較: 先行リターゲティング・固定把持法を37%上回る - 専門家RL: 特定物体・タスク訓練と同等性能 - ゼロショット: 多様な日常道具で強い性能

5. 議論はある?

- 限界: 要旨からは不明 - 課題: シミュレーションと実世界のギャップ - 議論: 汎化性と専門家性能のバランス - 将来: 更なる道具操作への拡張 - 注意: 詳細な議論は要旨に記載なし

6. 次に読むべき論文は?

- 関連研究: リターゲティング法 - 比較手法: 固定把持法 - 専門家RL: 特定物体・タスク訓練ポリシー - 同分野定番: sim-to-real RL for manipulation - 参照: 要旨で比較された先行研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kushal Kedia, Tyler Ga Wei Lum, Jeannette Bohg, C. Karen Liu

分類: cs.RO, cs.AI

原文アブストラクト

The ability to manipulate tools significantly expands the set of tasks a robot can perform. Yet, tool manipulation represents a challenging class of dexterity, requiring grasping thin objects, in-hand object rotations, and forceful interactions. Since collecting teleoperation data for these behaviors is challenging, sim-to-real reinforcement learning (RL) is a promising alternative. However, prior approaches typically require substantial engineering effort to model objects and tune reward functions for each task. In this work, we propose SimToolReal, taking a step towards generalizing sim-to-real RL policies for tool manipulation. Instead of focusing on a single object and task, we procedurally generate a large variety of tool-like object primitives in simulation and train a single RL policy with the universal goal of manipulating each object to random goal poses. This approach enables SimToolReal to perform general dexterous tool manipulation at test-time without any object or task-specific training. We demonstrate that SimToolReal outperforms prior retargeting and fixed-grasp methods by 37% while matching the performance of specialist RL policies trained on specific target objects and tasks. Finally, we show that SimToolReal generalizes across a diverse set of everyday tools, achieving strong zero-shot performance over 120 real-world rollouts spanning 24 tasks, 12 object instances, and 6 tool categories.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI