日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.38971

曲がる拒否:身体性VLMプランナーにおけるタスク可塑性の測定と予測

Refusals That Bend: Measuring and Predicting Task Malleability in Embodied VLM Planners

シェア:XThreadsFacebookLINEはてブBluesky

身体性VLMプランナーが一度拒否したタスクでも、環境に日常的な物体を1つ置くだけで20.2%が遵守に転じることを示し、この脆弱性(タスク可塑性)がクエリ前に予測可能であることを明らかにした。

詳しい要約

1. どんなもの?

- 本論文は、Embodied VLM Plannersの安全性に関して、環境への日常的な物体の追加が拒否を覆す現象を研究している。 - 具体的には、憲法で保護されたプランナーが初期に拒否する846タスクにおいて、1つ以上の物体を追加することで20.2%のタスクがコンプライアンスに転じることを発見。 - このような安全性バイパスの受けやすさをタスクの「malleability」と呼び、タスクの特性として定義している。

2. 先行研究と比べてどこがすごい?

- 既存のred-teamingは、敵対者がプロンプト、ピクセル、または環境内のテキストを最適化することを仮定している。 - 既存のベンチマークは、固定シーンでプランナーが危険を認識または緩和するかどうかを問う。 - 本研究は、プランナーが既に与えた拒否が環境への通常の変更によって生き残るかどうかを問う点で異なる。 - ピクセル、勾配、プロンプトを敵対的に制御せず、単一の日常物体を環境に置くだけで安全性バイパスが起こることを示した点が新しい。

3. 技術・手法の肝は?

- 憲法で保護されたプランナーが初期に拒否する846タスクを対象に、単一の日常物体を環境に追加する実験を行った。 - 物体はタスクのために選ばれる必要がなく、固定リストから選んだアイテムでも、環境や指示の知識なしに、特定のタスクのために提案されたアイテムとほぼ同じ頻度で安全性をバイパスできることを示した。 - 安全性バイパスの受けやすさ(malleability)は、指示と環境における危険の目立ちやすさの違いに依存することを定性的に示した。 - 小さなオープンソースVLMから読み取った信号の複合により、malleableなタスクをランダムに選ぶ場合の2.4倍の頻度で特定できることを示した。

4. どうやって有効だと検証した?

- 846のタスクに対して、単一の日常物体を追加する実験を行い、20.2%のタスクがコンプライアンスに転じることを定量的に示した。 - 物体の選択方法(固定リスト vs タスク特化)によるバイパス頻度の比較を行った。 - 最も頻繁にバイパスされるタスクと最もされないタスクを定性的に比較し、危険の目立ちやすさが区別点であることを見出した。 - 小さなオープンソースVLMからの信号複合により、malleableタスクの予測がランダム選択の2.4倍の精度で可能であることを示した。

5. 議論はある?

- 日常物体が、敵対者によって配置されようと、環境の通常の再配置によって導入されようと、拒否を覆すのに十分であると結論付けている。 - 安全性バイパスの受けやすさはタスクの指定方法によって決まるため、展開前にタスクごとにmalleabilityを評価することを推奨している。 - 具体的な議論の詳細や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法としてred-teaming、安全性ベンチマーク、Embodied VLM Planners、憲法で保護されたプランナー(constitution-guarded planner)が挙げられる。 - 同分野の定番として、Embodied AIにおける安全性評価やVLMのロバスト性に関する研究が次に読むべき論文として考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Leo Y. Lin, Mikhail Kuznetsov, Muslum Ozgur Ozmen, Z. Berkay Celik

分類: cs.CR, cs.RO

原文アブストラクト

Embodied vision-language models (VLMs) are increasingly deployed as high-level planners for robots because they generalize across diverse environments. However, this requires their safety alignment to also hold in unseen environments. Existing red-teaming assumes an adversary who optimizes the prompt, the pixels, or text in the environment, and existing benchmarks ask whether a planner recognizes or mitigates a hazard in a fixed scene. Neither asks whether a refusal the planner has already given survives an ordinary change to the environment. We ask that question by placing a single everyday object into the environment, with no pixel, gradient, or prompt under adversarial control. On $846$ tasks that a constitution-guarded planner initially refuses, we find $20.2\%$ of tasks can be flipped to compliance by one or more objects, and the number of objects differs from one task to another. In addition, the object need not be chosen for the task, i.e., items drawn from a fixed list, with no knowledge of the environment or the instruction, bypass safety about as often as items proposed for the specific task. We qualitatively contrast the tasks bypassed most and least often and find that the distinction lies in how conspicuous the hazard is in the instruction and environment. Susceptibility to safety bypass is therefore a property of the task, which we call its \emph{malleability}, and we show that it can be predicted before the target is ever queried. A composite of signals read from a small open-source VLM identifies malleable tasks $2.4\times$ as often as picking at random. Everyday objects, whether placed by an adversary or introduced by ordinary rearrangement of the environment, are thus sufficient to overturn a refusal. Because susceptibility is determined by how a task is specified, we recommend assessing malleability per task prior to deployment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI