SafetyALFRED：マルチモーダル大規模言語モデルの安全意識計画の評価

- 本研究は、Multimodal Large Language Models (MLLMs) を自律エージェントとして対話型環境で利用する際の安全性を評価するベンチマーク「SafetyALFRED」を提案する。 - SafetyALFRED は、embodied agent benchmark である ALFRED を基盤とし、実世界のキッチンにおける6カテゴリの危険を追加している。 - 既存の安全性評価が disembodied question answering (QA) 設定での危険認識に焦点を当てているのに対し、本研究は embodied planning を通じた能動的なリスク軽減も評価する。 - Qwen、Gemma、Gemini ファミリーから11の最先端モデルを評価対象としている。

- 先行研究の安全性評価は、embodied 環境ではなく disembodied QA 設定での危険認識に限定されている。 - 本研究は、危険認識だけでなく、embodied planning による能動的なリスク軽減（corrective actions）を評価する点で新しい。 - 静的な QA 評価では物理的安全性を十分に評価できないことを示し、embodied 文脈での是正行動を優先するベンチマークへのパラダイムシフトを提唱している。

- ALFRED ベンチマークを拡張し、実世界のキッチンにおける6カテゴリの危険を組み込んだ SafetyALFRED を構築。 - 11の最先端 MLLMs（Qwen、Gemma、Gemini ファミリー）を、危険認識タスクと embodied planning によるリスク軽減タスクの両方で評価。 - 危険認識は QA 設定で、リスク軽減は embodied 環境での計画を通じて測定。 - コードとデータセットは https://github.com/sled-group/SafetyALFRED.git でオープンソース化。

- 11の最先端モデルを対象に、危険認識（QA 設定）とリスク軽減（embodied planning）の成功率を比較評価。 - 実験結果から、QA 設定では危険を正確に認識できる一方、embodied 環境での平均リスク軽減成功率は低いという顕著な alignment gap を明らかにした。 - この結果に基づき、静的な QA 評価では物理的安全性を保証するには不十分であると結論付けている。

- モデルは QA 設定で危険を認識できるが、embodied 環境での能動的なリスク軽減は不十分であるという alignment gap が存在する。 - 静的な QA による評価は物理的安全性の評価には不十分であり、embodied 文脈での是正行動を優先するベンチマークへのパラダイムシフトが必要であると主張。 - 具体的な議論の詳細や限界については要旨からは不明。

- 要旨で参照/比較されている研究：ALFRED（embodied agent benchmark）、disembodied question answering (QA) 設定の安全性評価。 - 関連手法：Qwen、Gemma、Gemini ファミリーの Multimodal Large Language Models。 - 同分野の定番：embodied AI ベンチマーク（例：ALFRED, AI2-THOR）、安全性評価ベンチマーク（例：SafetyBench など）が挙げられるが、要旨では具体的な次読論文は指定されていない。