日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2601.09178

視覚条件付き変分ベイズ最終層ダイナミクスモデル

Vision-Conditioned Variational Bayesian Last Layer Dynamics Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚情報を用いて環境変化を予測し、車両のダイナミクスモデルを適応させる手法を提案。水たまりのあるコースでの自動運転レースで有効性を実証した。

詳しい要約

1. どんなもの?

- 視覚情報を条件付けした変分ベイズ最終層ダイナミクスモデルを提案。 - 車両のノミナルダイナミクスを学習後、潜在特徴のfeature-wise affine transformationで微調整。 - 環境変化を予測するcontext-awareなダイナミクス予測を実現。 - 最適制御器に統合し、水たまりのあるコースを走行するLexus LC500で検証。

2. 先行研究と比べてどこがすごい?

- 従来のモデリング手法は急激なシステム変化を捉えにくい。 - 適応手法は本質的に反応的で、安全確保に間に合わない可能性。 - 本手法は視覚文脈を活用し、環境変化を先読みする proactive adaptation を実現。 - 視覚条件なしのベースラインは全て制御不能に陥ったのに対し、本手法は12周全て完走。

3. 技術・手法の肝は?

- 視覚条件付き変分ベイズ最終層ダイナミクスモデル。 - まずノミナル車両ダイナミクスを学習。 - 次に潜在特徴のfeature-wise affine transformationで微調整。 - これにより文脈認識型のダイナミクス予測が可能。 - モデルを最適制御器に統合。

4. どうやって有効だと検証した?

- Lexus LC500を水たまりのあるコースで走行させて検証。 - 視覚条件付きシステムは変化する条件下で12周全て完走。 - 視覚文脈なしのベースラインは全て制御不能。 - 高性能アプリケーションにおける proactive dynamics adaptation の重要性を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明記されていない。 - 関連手法として variational Bayesian last-layer や feature-wise affine transformation が挙げられる。 - 同分野の定番として model-based reinforcement learning や adaptive control が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Paul Brunzema, Thomas Lew, Ray Zhang, Takeru Shirasawa, John Subosits, Marcus Greiff

分類: cs.RO

原文アブストラクト

Agile control of robotic systems often requires anticipating how the environment affects system behavior. For example, a driver must perceive the road ahead to anticipate available friction and plan actions accordingly. Achieving such proactive adaptation within autonomous frameworks remains a challenge, particularly under rapidly changing conditions. Traditional modeling approaches often struggle to capture abrupt variations in system behavior, while adaptive methods are inherently reactive and may adapt too late to ensure safety. We propose a vision-conditioned variational Bayesian last-layer dynamics model that leverages visual context to anticipate changes in the environment. The model first learns nominal vehicle dynamics and is then fine-tuned with feature-wise affine transformations of latent features, enabling context-aware dynamics prediction. The resulting model is integrated into an optimal controller for vehicle racing. We validate our method on a Lexus LC500 racing through water puddles. With vision-conditioning, the system completed all 12 attempted laps under varying conditions. In contrast, all baselines without visual context consistently lost control, demonstrating the importance of proactive dynamics adaptation in high-performance applications.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI