日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全性arXiv:2606.00090

物理AIにおけるサイレント障害:自律システムの実行時アクション認可に関する文献レビュー

Silent Failures in Physical AI: A Literature Review of Runtime Action Authorization for Autonomous Systems

シェア:XThreadsFacebookLINEはてブBluesky

物理AIシステムが物理的な行動を起こす際の安全問題をレビューし、ブラックボックスモデルによる「サイレント障害」を定義し、実行時ガードレール機能の分類と評価を提案した論文。

詳しい要約

1. どんなもの?

- 本論文は、Physical AIシステムにおける実行時の行動認可に関する文献レビューである。 - マルチモーダル観測、言語指示、学習された世界表現を物理的行動に変換するシステムが増加している。 - ロボティクス基盤モデル、vision-language-actionモデル、world-modelベースの自律システムが対象。 - 従来のAIコンテンツモデレーションや古典的ロボット安全では捉えきれない安全問題を指摘。 - ブラックボックスモデルが自信ありげで意味的に整合した物理的行動を発行しても、センサドリフト、オクルージョン、状態推定誤差、分布シフト、幻覚的affordance、無効な物理仮定により、下流のハードウェアコントローラが違反を検出する前にサイレントな失敗が生じる。 - この問題に対し、境界付き問題定式化、サイレント物理行動失敗の定義、ランタイムガードレール機能の分類、評価要件を提示。

2. 先行研究と比べてどこがすごい?

- 従来のAIコンテンツモデレーションや古典的ロボット安全では、ブラックボックスモデルが物理的行動を発行する際のサイレント失敗を十分に捉えられない。 - embodied foundation models、world models、ロボティクスシミュレーション、embodied safety benchmarks、safe control、runtime assurance、不確実性推定、検証、guardrail評価など、モデル能力と安全メカニズムが別々の技術トラックで進展。 - 本レビューは、これらの流れを統合し、ブラックボックスPhysical AIモデルと物理的実行の間に完全なランタイム認可境界が存在しないというギャップを指摘。 - ガードレールをPhysical AI保証メカニズムとして比較するための評価要件を提案。

3. 技術・手法の肝は?

- 文献レビューを通じて、 embodied foundation models、world models、ロボティクスシミュレーション、embodied safety benchmarks、safe control、runtime assurance、不確実性推定、検証、guardrail評価を横断的に調査。 - サイレント物理行動失敗の定義を提示。 - ランタイムガードレール機能の分類を開発。 - ガードレールをPhysical AI保証メカニズムとして比較するための評価要件を定式化。 - 境界付き問題定式化を提案。

4. どうやって有効だと検証した?

- 要旨からは不明。文献レビューであり、実験的検証やケーススタディの詳細は記述されていない。

5. 議論はある?

- モデル能力と安全メカニズムが別々の技術トラックで進展しているというギャップを議論。 - ブラックボックスPhysical AIモデルと物理的実行の間に完全なランタイム認可境界が存在しないことを指摘。 - サイレント失敗の原因として、センサドリフト、オクルージョン、状態推定誤差、分布シフト、幻覚的affordance、無効な物理仮定を挙げる。 - ガードレールの分類と評価要件を提示することで、今後の研究課題を明確化。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:embodied foundation models、world models、robotics simulation、embodied safety benchmarks、safe control、runtime assurance、uncertainty estimation、verification、guardrail evaluation。 - 関連手法:vision-language-action models、world-model-based autonomous systems。 - 同分野の定番:ロボティクス基盤モデル、安全制御、ランタイム保証。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Barak Or

分類: cs.RO, cs.AI

原文アブストラクト

Physical AI systems increasingly map multimodal observations, language instructions, and learned world representations into physically consequential actions. Robotics foundation models, vision-language-action models, and world-model-based autonomous systems can condition decisions that move vehicles, robots, drones, and industrial machines. This transition exposes a safety problem that is not fully captured by conventional AI content moderation or by classical robot safety alone: a black-box model may issue a physically consequential action while appearing confident, plausible, and semantically aligned. The resulting failure can be silent, arising from sensor drift, occlusion, state-estimation error, distribution shift, hallucinated affordances, or invalid physical assumptions before downstream hardware controllers detect a violation. Across embodied foundation models, world models, robotics simulation, embodied safety benchmarks, safe control, runtime assurance, uncertainty estimation, verification, and guardrail evaluation, model capability and safety mechanisms have advanced along largely separate technical tracks. A recurring gap synthesized here is that no single stream surveyed in this review supplies a complete runtime authorization boundary between black-box Physical AI models and physical execution. The resulting analysis develops a bounded problem formulation, a definition of silent physical-action failure, a taxonomy of runtime guardrail functions, and evaluation requirements for comparing guardrails as Physical AI assurance mechanisms.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI