日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全性/行動予測arXiv:2606.03954

VLESA: 人間活動監視のための視覚言語身体化安全エージェント

VLESA: Vision-Language Embodied Safety Agent for Human Activity Monitoring

シェア:XThreadsFacebookLINEはてブBluesky

一人称視点映像から人間の活動を監視し、危険な行動を予測してリアルタイムに安全介入を行うフレームワークを提案。意図に応じて安全性が変わる行動を扱うため、目標条件付き安全Qフィルタを導入した。

詳しい要約

1. どんなもの?

- egocentric videoから人間の活動を監視し、危険な行動を予測した際にリアルタイムで安全介入を行うVision-Language Embodied Safety Agent (VLESA)というフレームワーク。 - 同一の行動でも文脈によって安全か危険かが変わるintent-dependent safetyを扱う。 - egocentric framesとgoal-conditioned safety annotationsを対にしたデータセットを導入。 - GRPOで訓練されたgoal-conditioned safety Q-filterと、意図と将来行動を予測するintent-action prediction agentから構成。

2. 先行研究と比べてどこがすごい?

- 従来の安全機構は文脈や意図に依存しない固定的な判断が中心だったのに対し、VLESAは意図に基づく安全性を扱う点が新しい。 - 再訓練なしでgoal-conditionedに行動を評価できるQ-filterを実現。 - ASIMOV-2.0 benchmarkにおいて、baselinesと比べground-truth frameでの介入精度が高い。 - GRPO訓練のQ-filterにより、goal-conditioned constrained decodingを通じて行動安全性を41 percentage points以上改善。

3. 技術・手法の肝は?

- egocentric framesとgoal-conditioned safety annotationsを対にしたデータセットを構築。 - GRPOで訓練されたgoal-conditioned safety Q-filterが、推論された意図に照らして行動を評価。再訓練不要で意図条件付き評価が可能。 - intent-action prediction agentがvideoから目標を推論し将来行動を予測。 - goal-conditioned constrained decodingにより安全な行動を生成・選択。

4. どうやって有効だと検証した?

- ASIMOV-2.0 benchmark上で評価。 - 正確なground-truth frameにおける介入精度がbaselinesより高いことを確認。 - GRPO訓練のQ-filterがgoal-conditioned constrained decodingを通じて行動安全性を41 percentage points以上改善したことを示す。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、intent推論の不確実性、egocentric videoの一般化、リアルタイム介入の遅延、安全性と自律性のトレードオフなどが考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

- ASIMOV-2.0 benchmark(本論文で比較・評価に使用)。 - GRPO(本論文でQ-filter訓練に使用)。 - Vision-Language Model (VLM) を用いたembodied safetyに関する研究。 - egocentric videoからの行動予測・意図推論に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hanjiang Hu, Yiyuan Pan, Jiaxing Li, Xusheng Luo, Alexander Robey, Na Li, Yebin Wang, Changliu Liu

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

As AI systems increasingly assist humans in physical tasks, ensuring safety becomes paramount -- physical actions carry immediate and irreversible consequences that digital errors do not. We introduce the Vision-Language Embodied Safety Agent (VLESA), a framework that monitors human activities from egocentric video and triggers real-time safety interventions when dangerous actions are predicted. VLESA addresses intent-dependent safety where identical actions can be safe or dangerous depending on context. A dataset pairing egocentric frames with goal-conditioned safety annotations is introduced, enabling a goal-conditioned safety Q-filter trained via GRPO that evaluates actions with respect to inferred intent without retraining. On top of that, an intent-action prediction agent is proposed to jointly infer goals and predict future actions from video. On the ASIMOV-2.0 benchmark, VLESA achieves higher intervention accuracy at the exact ground-truth frame compared to baselines, while the GRPO-trained Q-filter improves action safety by over 41 percentage points through goal-conditioned constrained decoding. Code is available at https://github.com/HanjiangHu/VLESA.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI