日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2510.24261

DynaRend: マスク付き未来レンダリングによるロボットマニピュレーションのための3Dダイナミクス学習

DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

多視点RGB-D動画からマスク再構成と未来予測を微分可能ボリュームレンダリングで行い、3D形状・意味・ダイナミクスを統合したトライプレーン表現を自己教師あり学習するフレームワーク。RLBenchやColosseum、実機実験でマニピュレーション性能と汎化性を向上。

詳しい要約

1. どんなもの？

- ロボット操作のための表現学習フレームワーク DynaRend を提案する論文。 - 多視点 RGB-D 動画データで事前学習し、3D-aware かつ dynamics-informed な triplane 特徴を獲得する。 - 獲得した表現を action value map 予測により下流の manipulation タスクへ転移する。 - RLBench、Colosseum、実機実験で評価している。

2. 先行研究と比べてどこがすごい？

- 既存の self-supervised 表現学習は 2D 視覚事前学習（masked image modeling 等）に依存し、静的意味や scene geometry に偏る。 - 大規模 video prediction モデルは 2D dynamics を重視し、geometry・semantics・dynamics を同時に学習できない。 - DynaRend は masked reconstruction と future prediction を differentiable volumetric rendering で統合し、3 要素を unified triplane 表現で jointly に捉える点が異なる。

3. 技術・手法の肝は？

- 多視点 RGB-D 動画データに対し masked reconstruction と future prediction を組み合わせて事前学習する。 - differentiable volumetric rendering を用いて triplane 特徴を学習する。 - 空間 geometry、将来 dynamics、タスク semantics を単一の triplane 表現に統合する。 - 下流タスクへは action value map 予測を通じて転移する。

4. どうやって有効だと検証した？

- RLBench と Colosseum の 2 つの benchmark で評価する。 - 実世界ロボット実験も実施する。 - policy success rate、環境摂動への generalization、多様な manipulation タスクでの実世界適用性の改善を示す。

5. 議論はある？

- 要旨からは不明（具体的な限界や失敗事例、計算コスト等の議論は記述されていない）。

6. 次に読むべき論文は？

- masked image modeling 系の 2D 視覚事前学習研究。 - 大規模 video prediction モデル。 - differentiable volumetric rendering を用いた表現学習（NeRF 系）。 - RLBench、Colosseum の benchmark 関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingyi Tian, Le Wang, Sanping Zhou, Sen Wang, Jiayi Li, Gang Hua

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Learning generalizable robotic manipulation policies remains a key challenge due to the scarcity of diverse real-world training data. While recent approaches have attempted to mitigate this through self-supervised representation learning, most either rely on 2D vision pretraining paradigms such as masked image modeling, which primarily focus on static semantics or scene geometry, or utilize large-scale video prediction models that emphasize 2D dynamics, thus failing to jointly learn the geometry, semantics, and dynamics required for effective manipulation. In this paper, we present DynaRend, a representation learning framework that learns 3D-aware and dynamics-informed triplane features via masked reconstruction and future prediction using differentiable volumetric rendering. By pretraining on multi-view RGB-D video data, DynaRend jointly captures spatial geometry, future dynamics, and task semantics in a unified triplane representation. The learned representations can be effectively transferred to downstream robotic manipulation tasks via action value map prediction. We evaluate DynaRend on two challenging benchmarks, RLBench and Colosseum, as well as in real-world robotic experiments, demonstrating substantial improvements in policy success rate, generalization to environmental perturbations, and real-world applicability across diverse manipulation tasks.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM（ミニPC）

MINISFORUM（ミニPC）の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →