日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データセット/行動理解arXiv:2603.15847

FEEL(力強化エゴセントリック学習):物理的行動理解のためのデータセット

FEEL (Force-Enhanced Egocentric Learning): A Dataset for Physical Action Understanding

シェア:XThreadsFacebookLINEはてブBluesky

圧電抵抗グローブで計測した力データとエゴセントリックビデオを組み合わせた大規模データセットFEELを構築し、接触理解と行動表現学習に応用した。

詳しい要約

1. どんなもの?

- 力覚計測と一人称視点映像を組み合わせた大規模データセットFEELを提案。 - カスタムピエゾ抵抗グローブで収集した力データと、キッチン環境での自然な操作映像を含む。 - 約300万フレームの力同期フレームがあり、45%がhand-object contactを含む。 - 物理的行動理解のための力の有用性を示す。

2. 先行研究と比べてどこがすごい?

- 力覚と一人称映像をペアにした初の大規模データセット。 - 手動の接触物体セグメンテーションアノテーションなしで、最先端の時間的接触セグメンテーションと競争力のあるピクセルレベルセグメンテーションを実現。 - 力予測を自己教師あり事前学習目的として用いることで、手動ラベルなしに行動理解タスクの転移性能を向上。

3. 技術・手法の肝は?

- カスタムピエゾ抵抗グローブで力測定を可能にし、スケーラブルなデータ収集を実現。 - 接触理解タスク:時間的接触セグメンテーションとピクセルレベル接触物体セグメンテーションを同時に実行。 - 行動表現学習:力予測を自己教師あり事前学習目的としてビデオバックボーンを訓練。

4. どうやって有効だと検証した?

- FEELを2つのタスクファミリーに適用して有効性を検証。 - 接触理解:最先端の時間的接触セグメンテーション結果と競争力のあるピクセルレベルセグメンテーション結果を手動アノテーションなしで達成。 - 行動表現学習:FEELを用いた事前学習が、EPIC-Kitchens、SomethingSomething-V2、EgoExo4D、Meccanoでの行動理解タスクの転移性能を手動ラベルなしで改善することを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- EPIC-Kitchens、SomethingSomething-V2、EgoExo4D、Meccanoに関連する研究。 - 力覚を用いた物理的行動理解や自己教師あり学習の関連手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Eadom Dessalene, Botao He, Michael Maynord, Yonatan Tussa, Pavan Mantripragada, Yianni Karabati, Nirupam Roy, Yiannis Aloimonos

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

We introduce FEEL (Force-Enhanced Egocentric Learning), the first large-scale dataset pairing force measurements gathered from custom piezoresistive gloves with egocentric video. Our gloves enable scalable data collection, and FEEL contains approximately 3 million force-synchronized frames of natural unscripted manipulation in kitchen environments, with 45% of frames involving hand-object contact. Because force is the underlying cause that drives physical interaction, it is a critical primitive for physical action understanding. We demonstrate the utility of force for physical action understanding through application of FEEL to two families of tasks: (1) contact understanding, where we jointly perform temporal contact segmentation and pixel-level contacted object segmentation; and, (2) action representation learning, where force prediction serves as a self-supervised pretraining objective for video backbones. We achieve state-of-the-art temporal contact segmentation results and competitive pixel-level segmentation results without any need for manual contacted object segmentation annotations. Furthermore we demonstrate that action representation learning with FEEL improves transfer performance on action understanding tasks without any manual labels over EPIC-Kitchens, SomethingSomething-V2, EgoExo4D and Meccano.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI