日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.23281

マルチモーダル領域適応によるロボットジェイルブレイク防止

Preventing Robotic Jailbreaking via Multimodal Domain Adaptation

シェア:XThreadsFacebookLINEはてブBluesky

テキストと画像の埋め込みを注意機構で融合し、汎用ジェイルブレイクデータをロボット分野のデータに適応させる軽量検出器J-DAPTを提案し、自動運転・海洋ロボティクス・四足歩行ナビゲーションでほぼ100%の検出精度を達成した。

詳しい要約

1. どんなもの?

- LLM/VLMを搭載したロボット環境におけるjailbreaking攻撃への防御フレームワーク - 名称はJ-DAPT - multimodal jailbreak detectionのための軽量フレームワーク - attention-based fusionとdomain adaptationを組み合わせる - 対象はroboticsやsafety-criticalな領域 - 攻撃により安全機構を迂回され、実世界で危険・物理的害のある挙動が引き起こされる問題に対処

2. 先行研究と比べてどこがすごい?

- 先行するdata-driven defenses(jailbreak classifiers等)は有望だが汎化が課題 - 専門データセットが乏しいドメインでは効果が限定される - J-DAPTはこのギャップに対処 - 汎用のjailbreakデータセットとドメイン固有のreference dataを整合させる - これによりデータ希少なrobotics領域での検出性能を高める - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は?

- attention-based fusionによりtextual embeddingsとvisual embeddingsを統合 - 意味的意図(semantic intent)と環境的接地(environmental grounding)の両方を捉える - domain adaptationにより汎用jailbreakデータセットをドメイン固有reference dataとaligning - 軽量(lightweight)な設計でoverheadを最小化

4. どうやって有効だと検証した?

- autonomous driving、maritime robotics、quadruped navigationの3領域で評価 - 検出精度がほぼ100%に向上 - 最小限のoverheadで達成 - 詳細なデータセット規模や比較手法は要旨からは不明

5. 議論はある?

- 結果はrobotic applicationsにおけるVLM保護の実用的防御としての有用性を示す - 限界や失敗ケース、攻撃多様性への頑健性に関する議論は要旨からは不明 - 追加資料が https://j-dapt.github.io で公開されている

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法としてjailbreak classifiers、data-driven defenses、LLM/VLMのjailbreaking攻撃研究 - 同分野の定番としてmultimodal fusion、domain adaptation、vision-language modelの安全性研究を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Francesco Marchiori, Rohan Sinha, Christopher Agia, Alexander Robey, George J. Pappas, Mauro Conti, Marco Pavone

分類: cs.RO

原文アブストラクト

Large Language Models (LLMs) and Vision-Language Models (VLMs) are increasingly deployed in robotic environments but remain vulnerable to jailbreaking attacks that bypass safety mechanisms and drive unsafe or physically harmful behaviors in the real world. Data-driven defenses such as jailbreak classifiers show promise, yet they struggle to generalize in domains where specialized datasets are scarce, limiting their effectiveness in robotics and other safety-critical contexts. To address this gap, we introduce J-DAPT, a lightweight framework for multimodal jailbreak detection through attention-based fusion and domain adaptation. J-DAPT integrates textual and visual embeddings to capture both semantic intent and environmental grounding, while aligning general-purpose jailbreak datasets with domain-specific reference data. Evaluations across autonomous driving, maritime robotics, and quadruped navigation show that J-DAPT boosts detection accuracy to nearly 100% with minimal overhead. These results demonstrate that J-DAPT provides a practical defense for securing VLMs in robotic applications. Additional materials are made available at: https://j-dapt.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI