安全・リスク学習2025/12/1arXiv:2512.08233

意味論的・計量的ベイズリスク場：VLM事前分布を用いた人間動画からのロボット安全学習

Semantic-Metric Bayesian Risk Fields: Learning Robot Safety from Human Videos with a VLM Prior

人間の安全認識をベイズ的リスク場としてモデル化し、VLMの常識と人間の安全動画から学習して、ロボット計画に使えるピクセル単位のリスク画像を生成する手法を提案。

詳しい要約

1. どんなもの？

- 人間の安全認識を二値ではなく、文脈・空間依存の連続的な risk として扱う枠組み。 - 人間の暗黙的 risk model を、安全な human demonstration 動画と VLM の常識から抽出する。 - 新規の semantically-conditioned かつ spatially-varying な risk パラメータ化を導入。 - risk を Bayesian 定式化で定義し、RGB 画像と query object 文字列から pixel-dense な risk 画像を生成。 - 生成した risk 画像は robot planning の value-predictor や 3D 投影による trajectory optimization に利用可能。

2. 先行研究と比べてどこがすごい？

- 従来の risk は binary 信号として扱われがちだが、本手法は連続的・文脈依存・空間変化する量として定式化。 - 人間の demonstration 動画から直接 supervision し、VLM の common sense を prior として組み込む点が新しい。 - Bayesian 定式化により、追加観測や common sense ルールへの高速適応が可能。 - 新規物体や新規文脈への汎化が可能で、より大規模な学習データへのスケール可能性を持つ。 - 具体的な先行研究名との比較は要旨からは不明。

3. 技術・手法の肝は？

- risk を Bayesian 定式化で定義。prior は pretrained vision-language model が提供。 - likelihood 関数が prior を変調し、相対的な risk metric を生成。 - likelihood は learned ViT で、pretrained features を pixel-aligned risk values に写像。 - 入力は RGB 画像と query object string、出力は pixel-dense risk images。 - 出力は value-predictor として、または 3D 投影して conventional trajectory optimization に利用。

4. どうやって有効だと検証した？

- 提案フレームワークが人間の選好に整合する contextual risk を生成することを示した。 - 下流応用として visuomotor planner の value learner として、また classical trajectory optimization と組み合わせて検証。 - 具体的なデータセット名・評価指標・被験者数などは要旨からは不明。

5. 議論はある？

- risk は主観的だが、人間は合理的な mental model を形成し行動選択に用いるという前提。 - Bayesian 枠組みにより追加観測や common sense ルールへの高速適応が可能と主張。 - 新規物体・文脈への汎化と大規模データへのスケール可能性に言及。 - 限界・失敗事例・計算コスト・倫理面などの議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として vision-language model (VLM)、ViT、Bayesian risk modeling、trajectory optimization、visuomotor planner が挙げられる。 - 同分野の定番として human demonstration からの imitation learning、risk-aware planning、value learning に関する文献が次に読む候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Timothy Chen, Marcus Dominguez-Kuhne, Aiden Swann, Xu Liu, Mac Schwager

分類: cs.RO

原文アブストラクト

Humans interpret safety not as a binary signal but as a continuous, context- and spatially-dependent notion of risk. While risk is subjective, humans form rational mental models that guide action selection in dynamic environments. This work proposes a framework for extracting implicit human risk models by introducing a novel, semantically-conditioned and spatially-varying parametrization of risk, supervised directly from safe human demonstration videos and VLM common sense. Notably, we define risk through a Bayesian formulation. The prior is furnished by a pretrained vision-language model. In order to encourage the risk estimate to be more human aligned, a likelihood function modulates the prior to produce a relative metric of risk. Specifically, the likelihood is a learned ViT that maps pretrained features, to pixel-aligned risk values. Our pipeline ingests RGB images and a query object string, producing pixel-dense risk images. These images that can then be used as value-predictors in robot planning tasks or be projected into 3D for use in conventional trajectory optimization to produce human-like motion. This learned mapping enables generalization to novel objects and contexts, and has the potential to scale to much larger training datasets. In particular, the Bayesian framework that is introduced enables fast adaptation of our model to additional observations or common sense rules. We demonstrate that our proposed framework produces contextual risk that aligns with human preferences. Additionally, we illustrate several downstream applications of the model; as a value learner for visuomotor planners or in conjunction with a classical trajectory optimization algorithm. Our results suggest that our framework is a significant step toward enabling autonomous systems to internalize human-like risk. Code and results can be found at https://riskbayesian.github.io/bayesian_risk/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧