日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2611.19771

JEPA4R: 4D点群計画を用いた身体性JEPA世界モデル

JEPA4R: Embodied JEPA World Models with 4D Point Planning

シェア:XThreadsFacebookLINEはてブBluesky

単眼深度カメラの点群を入力とし、潜在空間で未来を予測・計画するJEPA世界モデル。凍結潜在上で方策を学習し、実機アームへゼロショット転移を実現した。

詳しい要約

1. どんなもの?

- JEPA4Rは、単一のdepth cameraから得たpoint cloudを観測し、そのlatent spaceで予測とplanningを行うJEPA world model。 - 予測・計画は4D point cloudのlatent上で行い、これを4D point planningと呼ぶ。 - 行動はfrozen latentに接続したpolicy headを通じて出力する。 - frozen world model上のdecoderにより、想像内容を4D point cloudとして可視化できる。

2. 先行研究と比べてどこがすごい?

- 従来のpixel JEPAは2D画像を扱い、manipulationが作用するmetric geometryが暗黙的でappearanceと絡み合う問題があった。 - また想像内容が隠れがちで、短horizonのlatent planningによるsimulation評価が中心だった。 - JEPA4Rはpoint cloudを直接扱い、4D point cloudとして想像を可視化する点が異なる。 - OGBenchのCube-Single/Double/Triple/Sceneでpixel JEPAを上回り、MetaWorld 98.4%、Adroit Relocate 88.0%でR3M(96.0%/65.3%)を上回る。

3. 技術・手法の肝は?

- 単一depth cameraのpoint cloudを入力とするJEPA world modelを構築。 - future embeddingをlatent spaceで予測し、そのlatent spaceでplanningを実行。 - frozen latentにpolicy headを接続して行動を生成。 - frozen world model上のdecoderで4D point cloudを再構成し、想像内容を可視化。 - digital twinのみで訓練し、実機へzero-shot転移する構成。

4. どうやって有効だと検証した?

- OGBenchとCortexBenchのpolicy-learning protocolsで評価。 - OGBenchのCube-Single、Cube-Double、Cube-Triple、Sceneでpixel JEPAモデルを上回った。 - MetaWorldで98.4%、Adroit Relocateで88.0%を達成し、R3Mの96.0%、65.3%を上回り首位。 - decoderの4D point cloud再構成は200 stepで平均point error 1.1 cm以内。 - digital twinのみで訓練したモデルとpolicy headが、gripperとdexterous handの実armでzero-shot動作。

5. 議論はある?

- 2D画像ではなくpoint cloudを用いることでmetric geometryを明示的に扱える点が議論の中心。 - 想像内容を4D point cloudとして可視化できるため、world modelの内部表現を検証しやすい。 - 評価はOGBench、CortexBench、MetaWorld、Adroit Relocateに限られ、他タスクへの一般性は要旨からは不明。 - digital twinから実機へのzero-shot転移の条件や限界については要旨からは不明。

6. 次に読むべき論文は?

- 比較対象のpixel JEPAモデル(具体的名称は要旨からは不明)。 - R3M(要旨で比較されているvisual representation手法)。 - OGBenchおよびCortexBenchのpolicy-learning protocols。 - MetaWorld、Adroit Relocateのbenchmark。 - JEPA全般のworld model研究(関連手法として)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiarui Dong, Zhiheng Liang, Yanjun Li, Zeyu Zhang, Heejeong Nam, Haoyu Chen, Hao Tang

分類: cs.RO, cs.CV

原文アブストラクト

Joint-embedding predictive architecture (JEPA) world models predict future embeddings instead of pixels and plan in latent space. Two challenges remain: 2D images leave the metric geometry that manipulation acts on implicit and entangled with appearance, and what these models imagine stays hidden, as they are mostly judged in simulation by short-horizon latent planning. We present JEPA4R, a JEPA world model that observes single-depth-camera point clouds, predicts and plans in their latent space, and acts through a policy head on its frozen latents; we call this 4D point planning. A decoder on the frozen world model shows what it imagines as 4D point clouds, with a mean point error within 1.1 cm over 200 steps. Under the policy-learning protocols of OGBench and CortexBench, JEPA4R leads pixel JEPA models on OGBench Cube-Single, Cube-Double, Cube-Triple and Scene, and ranks first on MetaWorld and Adroit Relocate with 98.4% and 88.0%, above the runner-up, R3M, at 96.0% and 65.3%. Trained only in a digital twin, JEPA4R and its policy heads run zero-shot on the real arm with both a gripper and a dexterous hand.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI