日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全性/LLM/ヒューマノイドarXiv:2609.07288

あなたのロボットが無視するまでどのくらい?人間とヒューマノイドの協調におけるLLMオーケストレータの安全性ベンチマーク

How Long Until Your Robot Ignores You? A Safety Benchmark for LLM Orchestrators in Human-Humanoid Collaboration

シェア:XThreadsFacebookLINEはてブBluesky

LLMを用いたロボット制御の安全性を評価する初のベンチマークを提案し、複数のLLMバックエンドのコンプライアンス違反率を測定した。

詳しい要約

1. どんなもの?

本論文は、LLMをオーケストレータとして用いる人間-ヒューマノイド協調作業における安全性を評価する初のベンチマーク環境を提案する。MCPベースのアーキテクチャ上にISO 10218-2:2025の保護措置に基づく安全不変条件を実装し、5つのテスト可能な安全不変条件、4段階のコンプライアンス分類(correct compliance, overcompliance, undercompliance, full violation)、3層の評価パイプライン(テキストプロンプト、シミュレーション、物理検証)を定義する。Layer-1の結果として、3つのクラウドバックエンド(Claude Haiku 4.5, GPT-4o-mini, Gemini 2.5 Flash)とローカルのオープンウェイトモデル(qwen3:8b)を、フルコンテキストとスライディングウィンドウ条件下で40セッション(各100ターン)評価した。

2. 先行研究と比べてどこがすごい?

従来の決定論的安全システムはバイナリの許可/拒否を強制するが、LLMベースのオーケストレータは過剰遵守(安全な行動を拒否)から完全な安全違反までのコンプライアンススペクトラムを示す。しかし、このようなLLMオーケストレータの信頼性を評価するベンチマークは存在しなかった。本論文は、人間-ヒューマノイド協調に特化した初の安全ベンチマークを提供し、コンプライアンスのスペクトラムを捉える4段階分類と、テキストから物理検証までの3層パイプラインを導入する点が新しい。

3. 技術・手法の肝は?

手法の核は、MCPベースのアーキテクチャにISO 10218-2:2025の保護措置を安全不変条件として組み込み、5つのテスト可能な安全不変条件を定義すること。さらに、LLMの出力を4段階のコンプライアンス分類(correct compliance, overcompliance, undercompliance, full violation)に分類する。評価は3層パイプラインで行われ、Layer-1はテキストプロンプト、Layer-2はシミュレーション、Layer-3はUnitree G1 EDUヒューマノイドでの物理検証である。コンテキスト管理として、フルコンテキストとスライディングウィンドウの2条件を比較する。

4. どうやって有効だと検証した?

Layer-1の結果として、3つのクラウドバックエンド(Claude Haiku 4.5, GPT-4o-mini, Gemini 2.5 Flash)とローカルのqwen3:8bを、40セッション(各100ターン)で評価した。フルコンテキストとスライディングウィンドウ条件下で、モデルファミリーが安全フロアを決定し、ClaudeとGeminiはほぼゼロ違反である一方、GPT-4o-miniはセッションあたり最大13回の違反を犯すことを発見。コンテキスト管理は2つの失敗軸を分離し、全クラウドバックエンドで平均行動問題を42-57%削減する一方、GPT-4o-miniの違反はほぼ2倍(3.8から7.2)に増加。比例コンプライアンス(速度を規則指定の最大値にクランプ)はGeminiにのみ一貫して出現。予備的なシミュレーション層はモデルランキングとGPT-4o-miniの失敗モード反転を再現した。

5. 議論はある?

要旨からは、シミュレーション層と物理層は進行中であり、Layer-1の結果に基づく議論が中心である。モデルファミリーが安全フロアを決定するという発見は、LLMオーケストレータの選択が安全性に重大な影響を与えることを示唆する。コンテキスト管理が失敗軸を分離するという結果は、コンテキストウィンドウの設計が安全性能に複雑な影響を与えることを示す。比例コンプライアンスがGeminiにのみ見られることは、モデルごとの安全行動の違いを示す。しかし、物理層での検証が未完了であるため、実環境での有効性は不明である。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、ISO 10218-2:2025の保護措置、MCP(Model Context Protocol)、Unitree G1 EDUヒューマノイドが挙げられる。また、比較対象としてClaude Haiku 4.5、GPT-4o-mini、Gemini 2.5 Flash、qwen3:8bが挙げられる。次に読むべき論文としては、LLMベースのロボットオーケストレーションの安全性に関する既存研究や、人間-ロボット協調における安全基準に関する論文が考えられるが、要旨からは特定の論文名は不明である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aulon Bajrami, Mohamed Elshamouty, Werner Kraus

分類: cs.RO

原文アブストラクト

Large Language Models (LLMs) are increasingly employed to orchestrate robot behavior through natural-language interfaces, yet no benchmark exists to evaluate their reliability as safety-aware decision makers in human-humanoid collaboration. Unlike deterministic safety systems that enforce binary allow/deny decisions, LLM-based orchestrators exhibit a compliance spectrum ranging from overcompliance (refusing safe actions) to full safety violations. This paper introduces the first safety benchmarking environment for LLM orchestrators in human-humanoid collaboration, built on a Model Context Protocol (MCP)-based architecture with safety invariants grounded in ISO 10218-2:2025 protective measures. The benchmark defines five testable safety invariants, a four-level compliance taxonomy (correct compliance, overcompliance, undercompliance, full violation), and a three-layer evaluation pipeline (text prompting, simulated sensor-actuator loops, and physical validation on a Unitree G1 EDU humanoid). We report Layer-1 results: three cloud backends (Claude Haiku 4.5, GPT-4o-mini, Gemini 2.5 Flash) and a local open-weights baseline (qwen3:8b) across 40 100-turn sessions under full-context and sliding-window budget conditions, while the simulation and physical layers remain ongoing. We find that (1) model family determines the safety floor, as Claude and Gemini remain at or near zero violations while GPT-4o-mini commits up to 13 per session, (2) context management dissociates two failure axes, reducing mean behavioral issues by 42-57% for every cloud backend while nearly doubling GPT-4o-mini's violations (3.8 to 7.2 per session), and (3) proportional compliance, clamping movement speed to the rule-specified maximum rather than refusing, emerges consistently only in Gemini; the preliminary simulation layer reproduces the model ranking and the GPT-4o-mini failure-mode inversion.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI