日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全性/計画arXiv:2609.32801

PlanGuard: 身体性エージェントにおける多段階計画の安全性ガードレール

PlanGuard: A Guardrail for Multi-Step Plan Safety in Embodied Agents

シェア:XThreadsFacebookLINEはてブBluesky

実行前の多段階計画全体を環境と照らし合わせて物理的安全性を評価する検出器を提案し、専用データセットと蒸留手法で小型モデルでも高精度を実現した。

詳しい要約

1. どんなもの?

- 本論文は、Embodied Agents の multi-step plan の物理的安全性を実行前に検出する PlanGuard を提案する。 - 既存の guardrail は semantic harm に焦点を当て、embodied safety detector は subtask を単独で評価するため、plan 全体の compositional risk を見落とす。 - PlanGuard は、現在の環境における完全な multi-step plan の物理的安全性を評価する初の pre-execution detector である。 - 学習・評価用に Multi-Step Plan Safety (MSP-Safe) データセットを構築する。 - コンパクトモデル PlanGuard-2B は平均 87.15% ACC、87.21% F1 を達成する。

2. 先行研究と比べてどこがすごい?

- 既存の general-purpose guardrail は semantic harm を対象とし、embodied safety detector は subtask を isolated に評価する。 - そのため、subtask 間の依存関係や環境との相互作用から生じる compositional risk を捉えられない。 - PlanGuard は、完全な multi-step plan を現在の環境で実行前に評価する初の detector であり、このギャップを埋める。 - また、compact model と large model の性能差を埋める STAC-OPD を提案し、リアルタイム展開可能な規模で高い検出性能を示す。

3. 技術・手法の肝は?

- MSP-Safe データセットを paired task construction、diverse planners による plan generation、three judges による safety annotation で構築する。 - Task-oriented SFT により、基本的な plan-safety assessment 能力を獲得させる。 - さらに Strong-Teacher Adaptive Compensation for On-Policy Distillation (STAC-OPD) を提案する。 - STAC-OPD は、on-policy trajectory 上で adaptive な strong-teacher supervision を compact model に与える。 - fine-tuned strong teacher からの token-level distribution transfer と、probability-routed sequence-level compensation を組み合わせる。 - stud…

4. どうやって有効だと検証した?

- MSP-Safe データセットを用いて学習と評価を行う。 - 全 test subset において、PlanGuard-2B が平均 87.15% ACC、87.21% F1 を達成する。 - これにより、compact model scale で効果的な whole-plan physical-risk detection が可能であることを示す。 - ただし、具体的な baseline 比較や ablation の詳細は要旨からは不明。

5. 議論はある?

- compact model と stronger but costlier large model の間には依然として大きなギャップがある。 - STAC-OPD はこのギャップを埋めるために、strong teacher の supervision を adaptive に活用する。 - しかし、STAC-OPD の各コンポーネントの寄与や限界、失敗事例、計算コストなどは要旨からは不明。 - また、MSP-Safe の annotation 品質や judge 間の一致度なども要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、general-purpose guardrail、embodied safety detector、knowledge distillation、on-policy distillation、SFT が挙げられる。 - 同分野の定番として、embodied task planning、LLM-based planner、safety guardrail に関する研究を読むとよい。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junchi Chen, Changtao Miao, Yuxiao Xiang, Zhenchao Jin, Haojie Yuan, Qi Chu, Tao Gong, He Liu, Bo Zhang, Jiansheng Cai, Zhe Li, Nenghai Yu

分類: cs.AI, cs.CR, cs.CV, cs.RO

原文アブストラクト

Embodied task planners may produce multi-step plans whose subtask dependencies and interactions with the environment create physical risks during execution. Yet existing safeguards overlook such compositional risks, as general-purpose guardrails focus on semantic harm and embodied safety detectors assess subtasks in isolation. To address this gap, we introduce PlanGuard, the first pre-execution detector that evaluates the physical safety of a complete multi-step plan in its current environment. For training and evaluation, we construct a Multi-Step Plan Safety (MSP-Safe) dataset through paired task construction, plan generation using diverse planners, and safety annotation by three judges. Task-oriented SFT on MSP-Safe establishes fundamental plan-safety assessment capabilities, yet a substantial gap remains between compact models suitable for real-time deployment and stronger but costlier large models. Accordingly, we propose Strong-Teacher Adaptive Compensation for On-Policy Distillation (STAC-OPD), which provides compact models with adaptive strong-teacher supervision along their on-policy trajectories. It combines token-level distribution transfer from a fine-tuned strong teacher with probability-routed sequence-level compensation, retaining student-generated targets when the student favors the reference safety decision and using teacher-reconstructed targets otherwise. Across all test subsets, PlanGuard-2B achieves average 87.15% ACC and 87.21% F1, demonstrating effective whole-plan physical-risk detection at compact model scale. Code and dataset will be publicly released.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI