日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マルチモーダル学習arXiv:2606.13970

欠損モダリティに頑健な注意機構ベースの予測モデル

An Attention-based Model for Robust Forecasting with Missing Modality

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダルロボット学習において、訓練・推論時に一部のセンサデータが欠損しても動作する、注意機構とCVAEを組み合わせたモデルを提案し、人間の軌道予測とロボット操作予測の2タスクで有効性を示した。

詳しい要約

1. どんなもの？

- マルチモーダルロボット学習における欠損モダリティ問題に対処するモデルを提案。 - 訓練時と推論時の両方でモダリティが欠損している状況を扱う。 - conditional variational autoencoder (CVAE) と transformer-based architecture を組み合わせ、attention mechanisms を活用。 - 欠損があっても統一された固定次元表現を学習可能。 - 2つのロボット学習タスク（human trajectory prediction と robot manipulation forecasting）で評価。

2. 先行研究と比べてどこがすごい？

- 従来のマルチモーダルモデルは訓練時と推論時に全てのモダリティが利用可能であると仮定。 - 提案モデルは欠損モダリティが存在する状況でも訓練・推論が可能。 - 欠損データから完全なモダリティのロバストな表現を近似できることを示した。 - 5つのマルチモーダルデータセットで prior multimodal fusion approaches よりも優れる。

3. 技術・手法の肝は？

- conditional variational autoencoder (CVAE) として定式化。 - transformer-based architecture を採用し、attention mechanisms を利用。 - 欠損モダリティがあっても統一された固定次元表現を学習。 - 訓練時に欠損モダリティを許容し、ロバストな表現を近似。

4. どうやって有効だと検証した？

- 5つのマルチモーダルデータセットを使用。 - 2つのロボット学習タスク：human trajectory prediction と robot manipulation forecasting で評価。 - 実験結果から、不完全なデータから効果的に学習し、prior multimodal fusion approaches を上回る性能を確認。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として multimodal fusion approaches、attention-based models、conditional variational autoencoder (CVAE)、transformer-based architecture が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhitian Zhang, Wenjie Zi, Yunduz Rakhmangulova, Saghar Irandoust, Hossein Hajimirsadeghi, Thibaut Durand

分類: cs.RO, cs.LG

原文アブストラクト

Learning with missing modalities is a fundamental challenge in multimodal robot learning, as real-world robotic systems often operate in environments with incomplete sensor data. Attention-based models are appealing for processing multimodal data because they can handle multiple modalities with a single backbone network. However, most multimodal models assume that all modalities are available during both training and inference, limiting their applicability in robotic perception and decision-making. In this paper, we introduce a multimodal model designed to handle missing modalities during both training and inference. The model is formulated as a conditional variational autoencoder (CVAE) and incorporates a transformer-based architecture that leverages attention mechanisms to learn a unified, fixed-dimensional representation, even when some modalities are missing. We show that our proposed model can be trained with missing modalities while approximating a robust representation of all modalities. We evaluate our approach on five multimodal datasets across two robot learning tasks: human trajectory prediction and robot manipulation forecasting. Experimental results demonstrate that our model effectively learns from incomplete data and is superior to prior multimodal fusion approaches.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING（GPU搭載BTOゲーミングPC）

OZ GAMING（GPU搭載BTOゲーミングPC）の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →