日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2602.15828

Dex4D: タスク非依存の点追跡ポリシーによるSim-to-Real巧みな操作

Dex4D: Task-Agnostic Point Track Policy for Sim-to-Real Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

シミュレーションでタスク非依存の3D点追跡ポリシーを学習し、実世界の多様な巧みな操作タスクにゼロショット転移するフレームワークを提案。

詳しい要約

1. どんなもの?

- どんなもの? - Dex4Dは、シミュレーションで学習したタスク非依存のdexterous skillを実世界で柔軟に再構成するフレームワーク。 - 任意の物体を任意の姿勢に操作できる3D point track条件付きポリシーを学習。 - ゼロショットで実世界タスクに転移し、生成ビデオから抽出した物体中心のpoint trackでプロンプト。 - 実行中はオンラインpoint trackingで閉ループ知覚・制御を行う。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 実世界teleoperationによる大規模データ収集の高コスト・スケール困難を回避。 - 複数のタスク特化環境や報酬設計の必要性を排除。 - タスク非依存スキルを学習し、テスト時に多様な実世界タスクへ再構成可能。 - ゼロショット転移を実現し、新規物体・シーン配置・背景・軌道への強い汎化を示す。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - ドメイン非依存の3D point track条件付きポリシーを学習。 - シミュレーションで数千の物体と多様な姿勢設定をカバーする「Anypose-to-Anypose」ポリシーを訓練。 - テスト時、生成ビデオから抽出した物体中心point trackでプロンプト。 - 実行中はオンラインpoint trackingによる閉ループ知覚・制御。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - シミュレーションと実ロボットでの広範な実験。 - 多様なdexterous manipulationタスクでゼロショット展開を実現。 - 先行ベースラインに対する一貫した改善を確認。 - 新規物体、シーン配置、背景、軌道への強い汎化を実証。

5. 議論はある?

- 議論はある? - 要旨からは不明。

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、dexterous manipulationのsim-to-real転移やpoint track条件付きポリシーに関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuxuan Kuang, Sungjae Park, Katerina Fragkiadaki, Shubham Tulsiani

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Learning generalist policies capable of accomplishing a plethora of everyday tasks remains an open challenge in dexterous manipulation. In particular, collecting large-scale manipulation data via real-world teleoperation is expensive and difficult to scale. While learning in simulation provides a feasible alternative, designing multiple task-specific environments and rewards for training is similarly challenging. We propose Dex4D, a framework that instead leverages simulation for learning task-agnostic dexterous skills that can be flexibly recomposed to perform diverse real-world manipulation tasks. Specifically, Dex4D learns a domain-agnostic 3D point track conditioned policy capable of manipulating any object to any desired pose. We train this 'Anypose-to-Anypose' policy in simulation across thousands of objects with diverse pose configurations, covering a broad space of robot-object interactions that can be composed at test time. At deployment, this policy can be zero-shot transferred to real-world tasks without finetuning, simply by prompting it with desired object-centric point tracks extracted from generated videos. During execution, Dex4D uses online point tracking for closed-loop perception and control. Extensive experiments in simulation and on real robots show that our method enables zero-shot deployment for diverse dexterous manipulation tasks and yields consistent improvements over prior baselines. Furthermore, we demonstrate strong generalization to novel objects, scene layouts, backgrounds, and trajectories, highlighting the robustness and scalability of the proposed framework.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI