日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.05818

ガードが見逃すものをロボットは実行する:VLA指示における暗示的害

What the Guard Misses, the Robot Executes: Implied Harm in VLA Instructions

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルは拒否できず指示を実行するため、有害な意図の検知はモニタに依存する。タスクを固定し意図の明示度だけを変えて検証した結果、テキストガードは露骨な要求は検知するが暗示的な害の最大95%を見逃し、活性化監視でも補えないことを示した。

詳しい要約

1. どんなもの?

- Vision-language-action models (VLAs) が指示に従う際、有害な意図を持つ通常のロボットタスク要求を監視システムが検出できるかを検証。 - タスクを固定し、意図の明示性のみを変化させて、$\pi_{0.5}$ の実行とテキストガードのフラグを評価。 - 暗黙の有害要求の最大95%がタスク完了かつフラグなし、再調整後も最大90%が検出されないことを示す。 - モデルの活性化監視でもギャップは埋まらず、線形プローブはベースモデルでは高精度だがロボット訓練後に分離性能が低下。

2. 先行研究と比べてどこがすごい?

- 従来のテキストガードは明示的な有害要求をほぼ検出するが、暗黙の有害要求の検出率が低いことを定量的に示した。 - ロボット指示に対する再調整後も検出率が最大90%未満にとどまることを明らかにした。 - モデルの活性化監視ではこのギャップを埋められないことを示した。 - 線形プローブの分離性能がロボット訓練後に低下することを2つのモデルファミリーで確認。

3. 技術・手法の肝は?

- タスクを固定し、意図の明示性のみを変化させた指示を生成。 - $\pi_{0.5}$ に実行させ、テキストガードのフラグの有無を評価。 - モデルの活性化を監視する手法も試行。 - 線形プローブを用いて有害/無害指示の分離性能を評価。 - ベース言語モデルと視覚言語モデル、およびロボット訓練後のモデルで比較。

4. どうやって有効だと検証した?

- $\pi_{0.5}$ がすべての明示性レベルでタスクを完了し、無害コントロールと同程度の頻度であることを確認。 - テキストガードが明示的要求をほぼ検出する一方、暗黙的要求の検出率が低いことを定量的に評価。 - 暗黙の有害実行の最大95%がフラグなしで完了、再調整後も最大90%がフラグなしであることを示す。 - 活性化監視ではギャップが埋まらないことを検証。 - 線形プローブの分離性能がロボット訓練後に低下することを2つのモデルファミリーで確認。

5. 議論はある?

- テキストガードは明示的な有害要求には有効だが、暗黙の有害要求には不十分。 - ロボット指示への再調整でも検出率は改善するが限界がある。 - 活性化監視ではこの問題を解決できない。 - 線形プローブの分離性能低下は、ロボット訓練が有害/無害の表現を混同させる可能性を示唆。 - 暗黙の有害意図の検出に向けた新たなアプローチが必要。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Vision-language-action models (VLAs)、テキストガード、線形プローブ、活性化監視が挙げられる。 - 同分野の定番として、ロボット指示の安全性評価や有害意図検出に関する研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sripad Karne, Arjun Balaji

分類: cs.RO

原文アブストラクト

Vision-language-action models (VLAs) act on instructions without being able to refuse, so screening harmful requests falls to monitors. We test whether these monitors catch ordinary robot tasks requested for harmful reasons, holding the task fixed while varying only how explicitly the intent is stated. $π_{0.5}$ completes the task at every level of explicitness, as often as for harmless controls. Text guards flag nearly every blunt request but few implied ones: up to 95% of implied-harm runs end with the task done and no flag raised, and up to 90% even after recalibrating on robot instructions. Monitoring the model's activations does not close this gap. Linear probes separate harmful from harmless instructions almost perfectly in the base language and vision-language models, but this separation weakens after robot training in two model families, most for implied harm.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI