日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.14383

RLBind: ロボット知覚のための敵対的摂動に頑健なクロスモーダル統合埋め込み

RLBind: Adversarial-Invariant Cross-Modal Alignment for Unified Robust Embeddings

シェア:XThreadsFacebookLINEはてブBluesky

視覚・音声・熱・動画を統合するマルチモーダルエンコーダに対し、敵対的摂動と自然な劣化に強い埋め込みを学習する2段階のクロスモーダル整合フレームワークを提案し、ゼロショット性能を保ちつつロバスト性を向上させた。

詳しい要約

1. どんなもの?

- ロボット知覚・意思決定向けの統合マルチモーダルエンコーダ(vision, audio, thermal, video を共有埋め込み空間に束ねる)の頑健性を高める枠組み - 名称は RLBind。二段階の adversarial-invariant cross-modal alignment フレームワーク - 対象は CLIP 系の LanguageBind backbone で、on-robot 展開時の adversarial / natural corruption への耐性を狙う - 学習は Stage 1(clean-adversarial ペアでの unsupervised fine-tuning)と Stage 2(cross-modal correspondence の活用)から成る - 目的は clean accuracy と norm-bounded adversarial robustness の両立、および zero-shot transfer の維持

2. 先行研究と比べてどこがすごい?

- 従来の防御は CLIP-style encoder 内で clean 特徴と adversarial 特徴を整列させるものが中心で、広い cross-modal correspondence を無視していた - その結果、頑健性の向上は限定的で zero-shot transfer を劣化させることが多かった - RLBind は cross-modal 対応(text anchor や modality 間の class-wise 分布整合)を防御に組み込む点が新しい - 実験では LanguageBind backbone と標準的な fine-tuning ベースラインを clean accuracy と norm-bounded adversarial robustness の両方で一貫して上回ると報告 - 頑健性向上と汎化維持を両立させる実用的経路を示す点を主張

3. 技術・手法の肝は?

- 二段階構成。Stage 1 は clean-adversarial ペアを用いた unsupervised fine-tuning で visual encoder を硬化 - Stage 2 は cross-modal correspondence を利用し、clean/adversarial 特徴と text anchor との不一致を最小化 - 併せて modality 間の class-wise distributional alignment を強制 - これにより adversarial 不変性を単一モダリティ内でなくモーダル横断で担保する設計 - 詳細な損失式やハイパーパラメータは要旨からは不明

4. どうやって有効だと検証した?

- Image, Audio, Thermal, Video の各データで実験 - 比較対象は LanguageBind backbone と標準 fine-tuning ベースライン - 評価指標は clean accuracy と norm-bounded adversarial robustness - 両指標で RLBind が一貫して優位と報告 - zero-shot transfer の劣化を抑える点も主張(具体的な数値・データセット名は要旨からは不明)

5. 議論はある?

- 頑健性と汎化(zero-shot transfer)のトレードオフを緩和できる可能性を示唆 - 一方で natural corruption への効果や、実ロボット上での安全性評価の詳細は要旨からは不明 - 計算コスト、Stage 1/2 の寄与分解、text anchor 依存性などの議論は要旨からは不明 - 応用先として navigation, manipulation 等の embodied robot 知覚スタックを想定

6. 次に読むべき論文は?

- LanguageBind(比較の backbone) - CLIP-style encoder における clean-adversarial 特徴整列型の既存防御(adversarial training / adversarial feature alignment 系) - マルチモーダル頑健性の定番として adversarial training、TRADES などの norm-bounded 防御 - cross-modal alignment の関連として CLIP、ImageBind などの統合埋め込み研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhong Lu

分類: cs.RO, cs.CV

原文アブストラクト

Unified multi-modal encoders that bind vision, audio, and other sensors into a shared embedding space are attractive building blocks for robot perception and decision-making. However, on-robot deployment exposes the vision branch to adversarial and natural corruptions, making robustness a prerequisite for safety. Prior defenses typically align clean and adversarial features within CLIP-style encoders and overlook broader cross-modal correspondence, yielding modest gains and often degrading zero-shot transfer. We introduce RLBind, a two-stage adversarial-invariant cross-modal alignment framework for robust unified embeddings. Stage 1 performs unsupervised fine-tuning on clean-adversarial pairs to harden the visual encoder. Stage 2 leverages cross-modal correspondence by minimizing the discrepancy between clean/adversarial features and a text anchor, while enforcing class-wise distributional alignment across modalities. Extensive experiments on Image, Audio, Thermal, and Video data show that RLBind consistently outperforms the LanguageBind backbone and standard fine-tuning baselines in both clean accuracy and norm-bounded adversarial robustness. By improving resilience without sacrificing generalization, RLBind provides a practical path toward safer multi-sensor perception stacks for embodied robots in navigation, manipulation, and other autonomy settings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI