日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

制御arXiv:2606.23444

SkyJEPA: クアッドローターのゼロショットsim-to-real制御のための長期的世界モデル学習

SkyJEPA: Learning Long-Horizon World Models for Zero-Shot Sim-to-Real Control of Quadrotors

シェア:XThreadsFacebookLINEはてブBluesky

クアッドローターの高周波制御向けに、潜在空間でダイナミクスをモデル化するJEPA方式の世界モデルを提案し、物理に基づくプローバーとサンプリングベースの最適制御を組み合わせて、実機でのゼロショットsim-to-real転送を実現した。

詳しい要約

1. どんなもの?

- 本論文は、quadrotorのzero-shot sim-to-real制御のためのJEPA-styleなlong-horizon world modelを提案する。 - 高周波制御に焦点を当て、latent dynamics modelとphysics-inspired proberを組み合わせる。 - 学習モデルをsampling-based optimal controlと統合し、embedded hardware上でリアルタイム制御を実現する。 - 自動データセット生成パイプラインを開発し、実世界データ収集への依存を低減する。

2. 先行研究と比べてどこがすごい?

- 既存のneural network dynamics modelsはautoregressive rolloutで誤差が蓄積し、long-horizon予測が困難。 - 先行のJEPA-style手法は主にkinematic-level planning向けで、高周波制御の検討は限定的。 - 本研究はJEPAをquadrotorのリアルタイム制御に適用し、physics-inspired proberで解釈可能な状態を復元。 - これにより物理的に根拠のあるlong-horizon予測とzero-shot sim-to-real転移を実現。

3. 技術・手法の肝は?

- latent dynamics modelとphysics-inspired proberを組み合わせ、凍結latentを解釈可能な状態に写像。 - proberにより物理的に根拠のあるlong-horizon予測を可能にする。 - 学習モデルをsampling-based optimal controlと統合し、予測能力をリアルタイム制御に活用。 - 自動データセット生成パイプラインを構築し、高価で危険な実世界データ収集を削減。

4. どうやって有効だと検証した?

- 広範なopen-loop実験とoutdoor closed-loop実験を実施。 - 正確な予測、堅牢なzero-shot sim-to-real転移、多様な動作条件への強い汎化を実証。 - 具体的な評価指標やベースラインは要旨からは不明。

5. 議論はある?

- 要旨からは、提案手法の限界や失敗事例、計算コスト、スケーラビリティに関する議論は不明。 - 実世界展開における安全性や一般化可能性についての詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてJEPA (Joint Embedding Predictive Architectures) やsampling-based optimal control、neural network dynamics modelsが挙げられる。 - 同分野の定番としてModel Predictive Control (MPC) やLearning-based Control、Sim-to-Real Transferの論文を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pratyaksh Rao, Wancong Zhang, Randall Balestriero, Yann LeCun, Giuseppe Loianno

分類: cs.RO, cs.LG

原文アブストラクト

Accurate dynamics models are critical for informed decision-making in robotic systems, particularly for agile aerial vehicles operating under uncertainty. Neural network dynamics models are attractive for capturing complex nonlinear effects, but existing predictive approaches struggle with long-horizon forecasting because their autoregressive rollout mechanism amplifies errors over time. Joint Embedding Predictive Architectures (JEPAs) offer a compelling alternative by modeling dynamics in latent space, yet prior JEPA-style methods for robot navigation have been studied primarily for kinematic-level planning, with limited investigation in high-frequency control. In this work, we introduce the JEPA-style model for real-time quadrotor control. The proposed approach combines a latent dynamics model with a novel physics-inspired prober that maps frozen latents to interpretable state, enabling physically grounded long-horizon prediction. Additionally, we combine the learned model with a sampling-based optimal control solution to take advantage of its predictive capabilities for real-time control on embedded hardware. Finally, to reduce the dependence on expensive and unsafe real-world data collection, we develop a structured pipeline for automated dataset generation. Extensive open-loop and outdoor closed-loop experiments demonstrate accurate prediction, robust zero-shot sim-to-real transfer, and strong generalization across diverse operating conditions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI