MMTA: 時系列・テキスト・視覚を統合するマルチモーダル時間分析ベンチマーク

MMTAは、time series・text・visionの3モダリティを組み合わせたmultimodal temporal analysisのベンチマーク。9領域（robotics, autonomous driving, human action, manufacturing, AR assistance, healthcare, recommendation, finance, climate）を対象に、video+TSとimage+TSの2レイアウト、classificationとforecastingを含む3,524サンプルのtest splitを提供。異種の実世界データを共通schemaに標準化し、domain-specific prompts、provenance documentation、success-weighted metricsを備える。

従来のtime-series multimodalベンチマークは、temporal signalとtext、または同一signalから生成したvisualizationを組にするものが多い。MMTAはtime seriesを実世界のvisual evidence（videoやimage）と組み合わせ、cross-modal complementarity patternsを多様に含むtri-modalタスクを提供する点が異なる。また、8つのopen-sourceおよびproprietary MLLMsを評価し、共通のボトルネックを明らかにした。

MMTAは、異なる実世界ソースを共通schemaに標準化し、domain-specific promptsとprovenance documentationを付与。評価にはsuccess-weighted metricsを採用し、誤答と生成失敗の両方にペナルティを与える。さらにTimeOmni-vを提案。これはdedicated time-series encoder、temporal positional alignment、modality-aware token layout、forecasting headを備えたmultimodal LLM拡張。

8つのopen-sourceおよびproprietary MLLMsをMMTA上で評価。その結果、time seriesをtextとして表現するとtoken列が非常に長くなり、visual evidenceとのfine-grained alignmentが弱まるという共通のボトルネックを確認。特にlong-video設定で顕著。TimeOmni-vはlong-video classificationとtime-series inference efficiencyを改善。

MMTAはrepresentationとgroundingの失敗を明らかにするだけでなく、targeted model designを動機付ける。time seriesをtextとして扱うことの限界が示唆され、専用encoderやalignmentの必要性が議論されている。ただし、他のモダリティやタスクへの一般化可能性については要旨からは不明。

要旨で参照/比較されている研究は明示されていない。関連手法として、time seriesをtext化する既存MLLMアプローチや、multimodal LLMの一般的なベンチマーク（例：VideoQA、TimeSeriesQA）が挙げられる。また、TimeOmni-vの設計要素（time-series encoder、temporal positional alignment）に関連する研究を読むべき。