日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2606.25629

安全危機状況における蒸留視覚言語モデルを用いたイベント適応型動作計画

Event-Adaptive Motion Planning with Distilled Vision-Language Model in Safety-Critical Situations

シェア:XThreadsFacebookLINEはてブBluesky

安全が重要な場面で、視覚言語モデルを連続制御に使うと遅延が生じる問題を解決するため、異常イベント時のみモデルを起動するフレームワークを提案し、高次推論と低次制御を統合して動的安全マージンを向上させた。

詳しい要約

1. どんなもの?

- 安全クリティカルなロボットナビゲーションのためのイベント適応型動作計画(EAMP)フレームワーク。 - 大規模視覚言語モデル(VLM)を活用し、動的エージェントの予測不能な行動による衝突を回避。 - プロンプト設定可能なセマンティックイベントトリガ(PC-SET)で異常を検出し、蒸留されたSemNav-VLMが戦略的判断を生成。 - セマンティックモデル予測制御(SMPC)が戦略を最適化目的と幾何参照の動的再構成に変換。 - 物流シナリオでの実験により、動的安全マージンとリアルタイム効率の向上を実証。

2. 先行研究と比べてどこがすごい?

- 従来のVLMベースナビゲーションは連続制御ループ内でVLMを頻繁に呼び出し、計算遅延が物理実行を不安定化。 - EAMPはイベントトリガと蒸留により、VLMの推論を必要な時のみ実行し、リアルタイム性を維持。 - 既存ベースラインと比較して、動的安全マージンを大幅に改善。 - 高レベル推論と低レベル制御の整合性を実現。

3. 技術・手法の肝は?

- PC-SET:短時間の時間クリップを連続監視し、行動異常を検出してセマンティック介入を選択的に起動。 - イベントトリガ蒸留SemNav-VLM:物理的に検証されたセマンティック蒸留で微調整され、異常を離散的な戦略レベル決定にマッピング。 - SMPC:戦略を最適化目的と幾何参照の動的再構成に変換し、制御に反映。 - これらを統合し、イベント適応型の動作計画を実現。

4. どうやって有効だと検証した?

- 安全クリティカルな物流シナリオでの広範な実験を実施。 - EAMPが高レベル推論と低レベル制御を効果的に整合させ、動的安全マージンを既存ベースラインより大幅に改善することを示した。 - リアルタイム効率を維持することも確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:大規模視覚言語モデル(VLM)を用いたロボットナビゲーション、SemNav-VLM、モデル予測制御(MPC)。 - 関連手法:セマンティック蒸留、イベントトリガ制御。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenwei Huang, Changsheng You, Shuai Wang, Chao Zhou, Wei Xu, Yi Gong

分類: cs.RO, eess.SP

原文アブストラクト

Robot navigation in safety-critical scenarios faces significant challenges from unforeseen semantic events, where collisions arise primarily from the unpredictable behaviors of dynamic agents rather than unseen objects. While large vision-language models (VLMs) offer remarkable capabilities in commonsense reasoning, frequently invoking them within the continuous control loop introduces severe computational latency, fundamentally destabilizing physical execution. To address these challenges, we propose event-adaptive motion planning (EAMP), an efficient framework for VLM-based robot navigation. Specifically, a prompt-configurable semantic event trigger (PC-SET) selectively activates semantic intervention by continuously monitoring short temporal clips for behavioral anomalies. Upon triggering, an event-triggered distilled SemNav-VLM, fine-tuned via physically verified semantic distillation, maps detected anomalies into discrete strategy-level decisions. Subsequently, a semantic model predictive control (SMPC) module translates these strategies into dynamic reconfigurations of optimization objectives and geometric references. Extensive experiments in safety-critical logistics scenarios demonstrate that EAMP effectively aligns high-level reasoning with low-level control, significantly improving dynamic safety margins over existing baselines while preserving real-time efficiency.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI