日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全性arXiv:2604.05427

LLM制御ロボットシステムのための実行前安全ゲートとタスク安全契約

Pre-Execution Safety Gate & Task Safety Contracts for LLM-Controlled Robot Systems

シェア:XThreadsFacebookLINEはてブBluesky

LLMが生成するロボット命令を実行前に検証する安全アーキテクチャSafeGateを提案し、安全基準に基づく判定と実行中の制約監視により不安全な命令を防止する。

詳しい要約

1. どんなもの?

- LLMが自然言語タスク命令をロボット実行コードに変換するパイプライン向けの安全性アーキテクチャ「SafeGate」を提案。 - 実行前に危険・欠陥のある命令を拒否する決定論的ゲートと、実行中の安全状態遷移を保証する「Task Safety Contracts」から成る。 - ISO 13482安全規格に基づき、自然言語から安全関連プロパティを抽出するニューロシンボリック手法。

2. 先行研究と比べてどこがすごい?

- 既存のLLMベースロボット安全フレームワークやベースラインLLMと比較し、欠陥命令の受け入れを大幅に削減。 - 良性タスクの高い受け入れ率を維持しつつ、実行前検証ゲートの重要性を示した。 - 実行前の検証ゲートと実行中の制約監視を組み合わせた点が先行研究にない特徴。

3. 技術・手法の肝は?

- ISO 13482に基づき自然言語命令から構造化された安全関連プロパティを抽出。 - 決定論的決定ゲートで実行の許可/拒否を判定。 - 通過した命令をTask Safety Contractsによりinvariants、guards、abort conditionsに分解。 - Z3 SMT solvingを組み込み、契約から導出された制約チェックを実行時に強制。

4. どうやって有効だと検証した?

- 230のベンチマークタスク、30のAI2-THORシミュレーションシナリオ、実世界ロボット実験で評価。 - 既存のLLMベースロボット安全フレームワークおよびベースラインLLMと比較。 - 欠陥命令の受け入れ削減と良性タスクの高い受け入れ維持を定量的に示した。

5. 議論はある?

- 実行前安全ゲートがLLM制御ロボットシステムに重要であると主張。 - ニューロシンボリック手法とSMT solvingの組み合わせが有効性を示す一方、限界や課題は要旨からは不明。 - 実世界実験の詳細やスケーラビリティに関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている既存のLLMベースロボット安全フレームワーク(具体的名称は要旨からは不明)。 - ISO 13482安全規格。 - Z3 SMT solver。 - AI2-THORシミュレーション環境。 - 同分野の定番としてLLM-based robot task planning and safety validationに関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ike Obi, Vishnunandan L. N. Venkatesh, Weizheng Wang, Ruiqi Wang, Dayoon Suh, Temitope I. Amosa, Wonse Jo, Byung-Cheol Min

分類: cs.RO

原文アブストラクト

Large Language Models (LLMs) are increasingly used to convert task commands into robot-executable code, however this pipeline lacks validation gates to detect unsafe and defective commands before they are translated into robot code. Furthermore, even commands that appear safe at the outset can produce unsafe state transitions during execution in the absence of continuous constraint monitoring. In this research, we introduce SafeGate, a neurosymbolic safety architecture that prevents unsafe natural language task commands from reaching robot execution. Drawing from ISO 13482 safety standard, SafeGate extracts structured safety-relevant properties from natural language commands and applies a deterministic decision gate to authorize or reject execution. In addition, we introduce Task Safety Contracts, which decomposes commands that pass through the gate into invariants, guards, and abort conditions to prevent unsafe state transitions during execution. We further incorporate Z3 SMT solving to enforce constraint checking derived from the Task Safety Contracts. We evaluate SafeGate against existing LLM-based robot safety frameworks and baseline LLMs across 230 benchmark tasks, 30 AI2-THOR simulation scenarios, and real-world robot experiments. Results show that SafeGate significantly reduces the acceptance of defective commands while maintaining a high acceptance of benign tasks, demonstrating the importance of pre-execution safety gates for LLM-controlled robot systems

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI