日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作基盤モデルarXiv:2509.21673

SlotFM: 多様な下流タスクに対応するスロット注意機構付き動作基盤モデル

SlotFM: A Motion Foundation Model with Slot Attention for Diverse Downstream Tasks

シェア:XThreadsFacebookLINEはてブBluesky

ウェアラブル加速度センサデータから、時間周波数スロット注意機構を用いて多様な下流タスクに汎化する基盤モデルを提案し、16タスク中13で既存手法を上回った。

詳しい要約

1. どんなもの?

- ウェアラブル加速度計向けの加速度計 foundation model「SlotFM」 - 多様な下流タスクに汎化することを目的 - 既存 foundation model は歩行・運動など一般的な daily activity の分類に偏っている - Time-Frequency Slot Attention を採用 - 生信号の時間表現と周波数表現の両方を処理 - 複数の小さな embedding(slots)を生成し、各 slot が異なる信号成分を捉える - タスク特化 head がデータの関連部分に集中できる設計 - 2つの loss regularizer を導入 - 局所構造と周波数パターンを捉える - 細粒度の再構成とタスク関連情報の保持を狙う - 16の分類・回帰下流タスクで評価

2. 先行研究と比べてどこがすごい?

- 既存 foundation model は locomotion や exercise など一般的な daily activity の分類が中心 - 他の信号特性に依存する幅広いタスクへの適用が限定的 - SlotFM は標準的な human activity recognition を超えた16の分類・回帰タスクで評価 - 既存の self-supervised 手法と比較して - 16タスク中13タスクで上回る - 残りのタスクでも最良手法と同等の結果 - 平均で 4.5% の性能向上 - sensing foundation model としての強い汎化性を示す

3. 技術・手法の肝は?

- Time-Frequency Slot Attention - Slot Attention の拡張 - 生信号の時間表現と周波数表現の両方を処理 - 複数の小さな embedding(slots)を生成 - 各 slot が異なる信号成分を捕捉 - タスク特化 head が最重要部分にフォーカス可能 - 2つの loss regularizer - 局所構造を捉える regularizer - 周波数パターンを捉える regularizer - 細粒度詳細の再構成改善とタスク関連情報の保持を狙う - 詳細な architecture や学習手順は要旨からは不明

4. どうやって有効だと検証した?

- 16の分類・回帰下流タスクで評価 - 標準的な human activity recognition を超えるタスクを含む - 既存の self-supervised 手法と比較 - 13タスクで既存手法を上回る - 残りタスクでは最良手法と同等 - 平均 4.5% の性能向上を報告 - 具体的なデータセット名・被験者数・評価指標の詳細は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 限界や失敗ケース、計算コスト、slot 数や regularizer の感度などは記述なし - 示唆される点 - 時間・周波数の両表現と slot 分割が多様なタスクへの汎化に寄与 - ただし 16タスク中3タスクでは最良手法に匹敵するにとどまる - 議論の詳細は本文参照が必要

6. 次に読むべき論文は?

- Slot Attention(元手法) - 加速度計・ウェアラブル信号の self-supervised foundation model 関連研究 - 例: 加速度計データの masked modeling や contrastive learning を用いた先行 foundation model - human activity recognition の定番ベンチマーク・データセット - Time-Frequency 表現を扱う信号処理・深層学習手法 - 要旨で具体的に参照・比較されている個別研究名は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junyong Park, Oron Levy, Rebecca Adaimi, Asaf Liberman, Gierad Laput, Abdelkareem Bedri

分類: cs.LG, cs.AI

原文アブストラクト

Wearable accelerometers are used for a wide range of applications, such as gesture recognition, gait analysis, and sports monitoring. Yet most existing foundation models focus primarily on classifying common daily activities such as locomotion and exercise, limiting their applicability to the broader range of tasks that rely on other signal characteristics. We present SlotFM, an accelerometer foundation model that generalizes across diverse downstream tasks. SlotFM uses Time-Frequency Slot Attention, an extension of Slot Attention that processes both time and frequency representations of the raw signals. It generates multiple small embeddings (slots), each capturing different signal components, enabling task-specific heads to focus on the most relevant parts of the data. We also introduce two loss regularizers that capture local structure and frequency patterns, which improve reconstruction of fine-grained details and helps the embeddings preserve task-relevant information. We evaluate SlotFM on 16 classification and regression downstream tasks that extend beyond standard human activity recognition. It outperforms existing self-supervised approaches on 13 of these tasks and achieves comparable results to the best performing approaches on the remaining tasks. On average, our method yields a 4.5% performance gain, demonstrating strong generalization for sensing foundation models.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI