日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

シミュレーションarXiv:2605.24630

DexSIM: 統一因果ビデオ拡散によるリアルタイム器用操作シミュレーション

DexSIM: Real-time Dexterous Simulation with Unified Causal Video Diffusion

シェア:XThreadsFacebookLINEはてブBluesky

手と物体のインタラクションをリアルタイムでシミュレートするため、ビデオ拡散モデルを用いた2段階学習フレームワークを提案。空間メモリを保持し、長時間の一貫性と3D認識を実現する。

詳しい要約

1. どんなもの?

- 手と物体のインタラクションをリアルタイムにシミュレーションするフレームワーク「DexSIM」を提案。 - ビデオ拡散モデルと3D再構成を活用し、dexterous manipulationのシミュレーションを実現。 - 2段階の学習フレームワークを採用し、リアルタイム性と長期的な空間一貫性を両立。 - 15.24 FPSで動作し、hand motion transferなどの新応用も可能。

2. 先行研究と比べてどこがすごい?

- 従来のビデオ拡散モデルと3D再構成を用いた研究はナビゲーションに焦点を当てており、dexterous manipulationは未探索だった。 - 既存手法はリアルタイムインタラクティビティと長期的な空間一貫性・記憶に欠ける。 - DexSIMはピクセル・意味的類似性、動作忠実度、手の投影精度でベースラインを上回る。 - リアルタイム動作(15.24 FPS)を実現し、hand motion transferなどの新応用を可能にした。

3. 技術・手法の肝は?

- 第1段階:双方向ビデオ拡散モデルを訓練し、手の動作軌跡とビデオを統合特徴空間に埋め込む。 - 手の表現精度向上のため、gaussian heatmap hand encodingを利用。 - 第2段階:roll-outベースの自己回帰訓練を実施し、更新されたspatial cacheをattention sinkとして空間記憶に用いる。 - これにより長期的な一貫性と3D認識型のdexterous manipulationシミュレーションを改善。

4. どうやって有効だと検証した?

- ピクセルおよび意味的類似性、動作忠実度、手の投影精度の指標でベースラインと比較し、DexSIMが優位であることを示した。 - 15.24 FPSのリアルタイムインタラクティビティを達成。 - hand motion transferなどの新応用が可能であることを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、video diffusion models、3D reconstruction、gaussian heatmap hand encoding、autoregressive training with spatial cache、attention sinkなどが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Adam Lee

分類: cs.CV

原文アブストラクト

Recent progress of video diffusion models have enabled extensive simulation of the physical world. While simulation with hand object interaction has been less explored. We propose DexSIM, a dexterous simulation framework for simulating dexterous manipulation in real-time. While previous works utilizing video diffusion and 3D reconstruction focus on navigation, dexterous manipulation has been limited while it has extensive applications for creating interactive experiences with the simulated world and for generating synthetic data for robotics. Existing methods lack real-time interactivity and long-term spatial consistency and memory. We propose a 2-stage training framework for DexSIM. First we train a bi-directional video diffusion model by jointly embedding the hand action trajectory and video in a unified feature space. We utilize gaussian heatmap hand encoding for more accurate hand representation. Then we conduct a roll-out based autoregressive training with updated spatial cache as attention sink for spatial memory, which improves long-term consistency and 3D aware dexterous manipulation simulation. DexSIM outperforms the baseline on pixel and semantic similarity, motion fidelity, and hand projection accuracy. It also allows new applications such as hand motion transfer and runs at 15.24 FPS real-time interactivity.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI