日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチモーダル/テスト時適応arXiv:2602.15873

触覚・視覚・言語モデルのためのテスト時適応

Test-Time Adaptation for Tactile-Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

触覚・視覚・言語を統合したモデルがテスト時に分布変化に直面した際、各モダリティの信頼性を推定し、信頼性に基づいてサンプル選別・特徴融合・最適化を行う適応フレームワークを提案。

詳しい要約

1. どんなもの?

- Tactile-Vision-Language (TVL) モデル向けの Test-Time Adaptation (TTA) 研究。 - テスト時の分布シフト下で、モダリティごとの信頼性を明示的に扱う reliability-aware フレームワークを提案。 - 信頼性信号をサンプルフィルタリング、特徴融合、最適化正則化に利用。

2. 先行研究と比べてどこがすごい?

- 既存 TTA は unimodal 設定での filtering が中心。 - 非同期な cross-modal shifts 下での modality-wise reliability を明示的に扱わないため脆い。 - 提案法は TVL モデルに特化し、モダリティ信頼性を統合的に活用する点が新しい。

3. 技術・手法の肝は?

- 予測不確実性と perturbation-based responses から per-modality reliability を推定。 - 共有された信頼性信号を (i) 信頼できないテストサンプルのフィルタリング、(ii) tactile/visual/language 特徴の適応的融合、(iii) reliability-guided 目的関数によるテスト時最適化の正則化に使用。

4. どうやって有効だと検証した?

- TAG-C ベンチマークおよび追加の TVL シナリオで評価。 - 強い TTA ベースラインを一貫して上回る。 - 深刻なモダリティ破損下で最大 49.9% の精度向上を達成。

5. 議論はある?

- モダリティごとの信頼性モデリングの重要性を強調。 - 非同期 cross-modal shifts への対処が TVL モデルのロバストな TTA に不可欠であることを示唆。 - 具体的な限界や失敗ケースは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている既存 TTA ベースライン(unimodal TTA 手法)。 - TAG-C ベンチマークに関連する研究。 - TVL モデルや tactile-vision-language に関する先行研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chuyang Ye, Haoxian Jing, Qinting Jiang, Yixi Lin, Qiang Li, Xing Tang, Jingyan Jiang

分類: cs.RO, cs.AI

原文アブストラクト

Tactile-vision-language (TVL) models are increasingly deployed in real-world robotic and multimodal perception tasks, where test-time distribution shifts are unavoidable. Existing test-time adaptation (TTA) methods provide filtering in unimodal settings but lack explicit treatment of modality-wise reliability under asynchronous cross-modal shifts, leaving them brittle when some modalities become unreliable. We study TTA for TVL models under such shifts and propose a reliability-aware framework that estimates per-modality reliability from prediction uncertainty and perturbation-based responses. This shared reliability signal is used to (i) filter unreliable test samples, (ii) adaptively fuse tactile, visual, and language features, and (iii) regularize test-time optimization with a reliability-guided objective. On the TAG-C benchmark and additional TVL scenarios, our approach consistently outperforms strong TTA baselines, achieving accuracy gains of up to 49.9\% under severe modality corruptions, underscoring the importance of explicit modality-wise reliability modeling for robust test-time adaptation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI