日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデル/器用操作/sim2realarXiv:2607.04546

Mask2Real-WM: セグメンテーションマスクをシミュレーションから実世界への橋渡しとして用いた制御可能な器用な世界モデル

Mask2Real-WM: Segmentation Masks as a Sim-to-Real Bridge for Controllable Dexterous World Models

シェア:XThreadsFacebookLINEはてブBluesky

シミュレーションで大規模事前学習したダイナミクスモデルがセグメンテーションマスクの未来を予測し、それをレンダリングモデルで実写風RGBに変換することで、少ない実データで23自由度の器用な操作を制御可能にする世界モデルを提案した。

詳しい要約

1. どんなもの?

Mask2Real-WMは、器用な操作のための2段階のaction-conditioned world modelを提案する。将来のセグメンテーションマスクを予測するdynamics modelと、そのマスクをフォトリアリスティックなRGB画像に変換するrendering modelから構成される。

2. 先行研究と比べてどこがすごい?

従来のmonolithicなworld modelは、手全体やエンドエフェクタの軌道は捉えられるが、関節単位の細かいアクションの影響を正確に反映できない。Mask2Real-WMは、セグメンテーション空間でのsim-to-realギャップが小さいことを利用し、大規模なシミュレーションプリトレーニングと実データでのファインチューニングを組み合わせることで、23自由度すべてのアクション制御を可能にしている点が優れている。

3. 技術・手法の肝は?

手法の肝は、ピクセル予測をdynamics modelとrendering modelに分離すること。dynamics modelは過去のマスクと23-DoFのアクションシーケンスから将来のマスクを予測し、rendering modelはControlNetで拡張されたStable Video Diffusionバックボーンを用いてマスクをRGBに変換する。これにより、シミュレーションと実世界のギャップが小さいマスク空間で学習できる。

4. どうやって有効だと検証した?

器用なpick-and-placeベンチマークで実験を行い、マスク条件付けとシミュレーションプリトレーニングの両方が、23自由度すべてのアクション制御に必要であることを示した。また、50時間以上のシミュレーションデータでのプリトレーニングと、2.5時間未満の実デモでのファインチューニングの有効性を検証した。

5. 議論はある?

要旨からは、提案手法の限界や他の手法との比較における議論は不明。ただし、monolithicベースラインが細かい関節レベルのアクション効果を反映できないという問題を指摘しており、提案手法がその点を解決することを示唆している。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、ControlNet、Stable Video Diffusion、action-conditioned world models、dexterous manipulationのベンチマークなどが挙げられる。具体的な論文名は不明だが、これらの手法やデータセットに関する論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Riccardo O. Feingold, Davide Liconti, Chenyu Yang, Robert K. Katzschmann

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Action-conditioned world models allow robots to predict the future consequences of candidate actions without additional physical interaction, supporting policy evaluation, planning, and data augmentation. We present Mask2Real-WM, a two-stage action-conditioned world model for dexterous manipulation that decouples pixel prediction into a dynamics model and a rendering model. The dynamics model predicts future segmentation masks from past masks and 23-DoF action sequences. The rendering model maps the predicted masks to photorealistic RGB using a ControlNet-augmented Stable Video Diffusion backbone. The smaller sim-to-real gap in segmentation space enables the dynamics model to benefit from large-scale pretraining on over 50 h of synthetic simulation data, followed by fine-tuning on fewer than 2.5 h of real demonstrations. Experiments on a dexterous pick-and-place benchmark show that mask conditioning and simulation pretraining are both required for per-DoF action controllability across all 23 degrees of freedom. In contrast, monolithic baselines capture broad hand and end-effector trajectories but do not reliably reflect fine-grained, per-joint action effects.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI