日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2505.20032

ViTaPEs: マルチモーダルトランスフォーマーにおけるクロスモーダルアラインメントのための視触覚位置エンコーディング

ViTaPEs: Visuotactile Position Encodings for Cross-Modal Alignment in Multimodal Transformers

シェア:XThreadsFacebookLINEはてブBluesky

視覚と触覚のペア入力からタスク非依存の視触覚表現を学習するトランスフォーマーアーキテクチャViTaPEsを提案し、二段階の位置エンコーディング注入によりクロスモーダルな空間推論を強化、複数の実世界データセットで認識タスクの性能向上とゼロショット汎化を実証した。

詳しい要約

1. どんなもの?

- 視覚と触覚のペア入力からタスク非依存の visuotactile 表現を学習する transformer ベースのアーキテクチャ ViTaPEs を提案する研究。 - 触覚は texture・compliance・force など視覚に相補的な局所情報を与えるが、両モダリティの融合と汎化が課題。 - 位置エンコーディングに着目し、視覚・触覚の細粒度な対応を捉える多段の空間推論を狙う。 - 大規模実世界データセットでの認識タスクとロボット把持タスクで評価。

2. 先行研究と比べてどこがすごい?

- 既存の visuotactile 表現学習は事前学習済み vision-language model への重い依存があり、タスク・環境間の汎化が難しい。 - 既存手法は positional encoding を検討しておらず、fine-grained な visuotactile 相関に必要な多段の空間推論を見落としていた。 - ViTaPEs は事前学習済み vision-language model に頼らず、位置エンコーディングの注入設計を明示的に扱う点が新しい。 - 複数の大規模実世界データセットで SOTA ベースラインを上回り、未見の out-of-domain シナリオへの zero-shot 汎化も示す。

3. 技術・手法の肝は?

- transformer ベースで、視覚と触覚のペアからタスク非依存表現を学習。 - 肝は two-stage の positional injection。 - 各モダリティのストリーム内に local(modality-specific)positional encoding を付加。 - 結合トークン列に対し、attention の直前に global positional encoding を付加し、cross-modal 相互作用が起きる段階で共有の positional vocabulary を与える。 - 位置注入点を明示し、token-wise nonlinearity の前と self-attention 直前のどちらに注入するかを切り分ける controlled ablation を実施。

4. どうやって有効だと検証した?

- 複数の大規模実世界データセット上で各種 recognition タスクを評価し、SOTA ベースラインと比較。 - 未見の out-of-domain シナリオでの zero-shot 汎化を検証。 - ロボット把持タスクで transfer learning の強さを評価し、grasp success 予測で SOTA ベースラインを上回ることを示す。 - positional injection の注入点を切り分ける controlled ablation を実施。

5. 議論はある?

- 位置エンコーディングの注入点(token-wise nonlinearity 前 vs self-attention 直前)の効果を ablation で分離して議論。 - 事前学習済み vision-language model に大きく依存せずにモダリティ融合と汎化を達成できる点を主張。 - 具体的な限界・失敗ケース・計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている SOTA ベースライン(visuotactile representation learning の既存手法)および pre-trained vision-language model を用いる手法。 - transformer における positional encoding 設計(local/global の注入位置)に関する研究。 - ロボット把持の grasp success 予測に関する研究。 - 個別の論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fotios Lygerakis, Ozan Özdenizci, Elmar Rückert

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

Tactile sensing provides local essential information that is complementary to visual perception, such as texture, compliance, and force. Despite recent advances in visuotactile representation learning, challenges remain in fusing these modalities and generalizing across tasks and environments without heavy reliance on pre-trained vision-language models. Moreover, existing methods do not study positional encodings, thereby overlooking the multi-stage spatial reasoning needed to capture fine-grained visuotactile correlations. We introduce ViTaPEs, a transformer-based architecture for learning task-agnostic visuotactile representations from paired vision and tactile inputs. Our key idea is a two-stage positional injection: local (modality-specific) positional encodings are added within each stream, and a global positional encoding is added on the joint token sequence immediately before attention, providing a shared positional vocabulary at the stage where cross-modal interaction occurs. We make the positional injection points explicit and conduct controlled ablations that isolate their effect before a token-wise nonlinearity versus immediately before self-attention. Experiments on multiple large-scale real-world datasets show that ViTaPEs not only surpasses state-of-the-art baselines across various recognition tasks but also demonstrates zero-shot generalization to unseen, out-of-domain scenarios. We further demonstrate the transfer-learning strength of \emph{ViTaPEs} in a robotic grasping task, where it outperforms state-of-the-art baselines in predicting grasp success. Project page: https://sites.google.com/view/vitapes

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI