安全・フォールバック2025/5/1arXiv:2505.10547

マルチモーダル推論によるリアルタイムな分布外故障の防止

Real-Time Out-of-Distribution Failure Prevention via Multi-Modal Reasoning

マルチモーダル基盤モデルと動力学を考慮した計画を組み合わせ、分布外の故障を防ぐ安全なフォールバック戦略をリアルタイムに生成するフレームワークFORTRESSを提案。

詳しい要約

1. どんなもの？

- ロボットの out-of-distribution (OOD) シナリオにおける安全-critical な失敗を防ぐための、joint reasoning and planning フレームワーク FORTRESS を提案する研究。 - 低頻度の nominal 運用時に multi-modal foundation models を用いて起こりうる failure modes を予測し、safe fallback sets を特定する。 - runtime monitor が fallback を発動すると、fallback goals への plan を迅速に合成しつつ、semantically unsafe な領域をリアルタイムに推論・回避する。 - open-world な multi-modal reasoning と dynamics-aware planning を橋渡しし、hard-coded fallbacks や human safety interventions を不要にする。

2. 先行研究と比べてどこがすごい？

- 従来は hard-coded fallbacks や human safety interventions に依存していた点、および slow reasoning models の on-the-fly prompting に頼っていた点が課題。 - FORTRESS は foundation models の generalist knowledge をリアルタイムかつ動的に実行可能な応答へ結びつける。 - 合成ベンチマークと実世界の ANYmal robot データにおいて、slow reasoning models の on-the-fly prompting より safety classification accuracy で優位。 - 都市ナビゲーションの simulation と quadrotor hardware で system safety と planning success を改善。

3. 技術・手法の肝は？

- 低頻度の nominal 運用時に multi-modal foundation models で failure modes を予測し safe fallback sets を事前に特定する。 - runtime monitor が fallback response をトリガーすると、fallback goals への plan を迅速に合成する。 - 同時に semantically unsafe な領域をリアルタイムに推論して回避する。 - open-world な multi-modal reasoning と dynamics-aware planning を統合する joint reasoning and planning の枠組みが肝。

4. どうやって有効だと検証した？

- 合成ベンチマークおよび実世界の ANYmal robot データで safety classification accuracy を評価し、slow reasoning models の on-the-fly prompting と比較。 - 都市ナビゲーションの simulation で system safety と planning success を検証。 - quadrotor hardware 上でも同様に system safety と planning success を検証。

5. 議論はある？

- 要旨からは不明。 - 明示されているのは、hard-coded fallbacks と human safety interventions を不要にできるという主張、および slow reasoning models の on-the-fly prompting に対する優位性。 - 限界や失敗ケース、計算コスト等の議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で比較対象として挙げられている slow reasoning models の on-the-fly prompting に関する研究。 - multi-modal foundation models を用いた robot safety に関する研究。 - runtime monitoring や fallback planning、dynamics-aware planning に関する研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Milan Ganai, Rohan Sinha, Christopher Agia, Daniel Morton, Luigi Di Lillo, Marco Pavone

分類: cs.RO, cs.AI

原文アブストラクト

While foundation models offer promise toward improving robot safety in out-of-distribution (OOD) scenarios, how to effectively harness their generalist knowledge for real-time, dynamically feasible response remains a crucial problem. We present FORTRESS, a joint reasoning and planning framework that generates semantically safe fallback strategies to prevent safety-critical, OOD failures. At a low frequency under nominal operation, FORTRESS uses multi-modal foundation models to anticipate possible failure modes and identify safe fallback sets. When a runtime monitor triggers a fallback response, FORTRESS rapidly synthesizes plans to fallback goals while inferring and avoiding semantically unsafe regions in real time. By bridging open-world, multi-modal reasoning with dynamics-aware planning, we eliminate the need for hard-coded fallbacks and human safety interventions. FORTRESS outperforms on-the-fly prompting of slow reasoning models in safety classification accuracy on synthetic benchmarks and real-world ANYmal robot data, and further improves system safety and planning success in simulation and on quadrotor hardware for urban navigation. Website can be found at https://milanganai.github.io/fortress.

arXivで原文を読む →arXiv概要ページ

← 論文一覧