ACE-Data-0: 人間中心の環境キャプチャによる具現化データエンジン

ACE-Data-0は、人間中心のデータエンジンであるAmbient Capture Engine (ACE)を用いて構築された、身体化知能のための大規模マルチモーダルデータセットである。ACEは家庭環境を空間的に較正され時間的に同期された録音スタジオに変換し、テーブルスケール（手と物体の操作）とルームスケール（全身動作と移動）の2つの補完的なスケールで、一人称視点と多視点の外部ビデオ、全身と手の動き、物体の幾何学と6-DoF軌跡、音声、触覚信号を統合したマルチセンサリーストリームとして記録する。ACE-Data-0は、2つの環境で50人の参加者による200のタスクカテゴリ、合計75,000のインタラクションエピソード、150時間、17Mビデオフレームを含む。データセットは、原子操作、長期的な家事活動の連鎖、人間とシーンのインタラクションを網羅し、目標レベルの指示により自然な行動のばらつきを保持する。さらに、信号からシーンコンポーネント、インタラクションへと進む階層的ベンチマークを導入する。

既存のデータセットは、視点、モダリティ、空間スケールのいずれかで経験を断片化し、完全な知覚-行動ループを部分的にしか観測できない。ACE-Data-0は、一人称と多視点のビデオ、全身と手の動き、物体の状態、音声、触覚を時間同期して統合し、人間の目標追求に伴う知覚、運動、操作、物体状態、音、触覚の共進化を同時に捉える点で優れている。また、150時間、75,000エピソードという大規模さと、目標レベルの指示による自然な行動変動の保持、階層的ベンチマークの提供が特徴的である。

ACEは、家庭環境を録音スタジオに変換するために、空間較正と時間同期を施した複数のセンサー（カメラ、モーションキャプチャ、オーディオ、触覚センサーなど）を配置する。テーブルスケール構成は手と物体の操作に焦点を当て、ルームスケール構成は全身の動きと移動を捉える。データは、一人称視点と多視点の外部ビデオ、全身と手の動き、物体の幾何学と6-DoF軌跡、音声、触覚信号を統合したマルチセンサリーストリームとして記録される。参加者は目標レベルの指示（ステップバイステップではない）を与えられ、自然な行動のばらつきを保持する。データセットは、原子操作、長期的な家事活動の連鎖、人間とシーンのインタラクションを含む。

ACE-Data-0の有効性は、信号からシーンコンポーネント、インタラクションへと進む階層的ベンチマークを用いて検証された。具体的には、最先端の手法を評価し、接触、オクルージョン、自己運動、長い時間的ホライズンの下で大きなギャップがあることを明らかにした。これにより、データセットが既存手法の限界を浮き彫りにし、身体化AIの進歩を促進することを示した。

要旨からは、データセットの規模と多様性は大きいが、2つの環境に限定されており、環境の多様性が限定的である可能性が議論される。また、目標レベルの指示による自然な行動変動は、学習に有利である一方で、タスクの複雑さが増す可能性がある。さらに、最先端手法の評価でギャップが示されたが、具体的な手法名や性能値は要旨に記載されていない。データセットの構築コストやセンサー較正の複雑さも潜在的な課題である。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、身体化AIのための大規模データセット（例：Ego4D, Something-Something, 1K Walking）や、模倣学習、世界モデル、Vision-Language-Actionモデルに関する研究が挙げられる。具体的には、Ego4Dは一人称視点のビデオデータセット、Something-Somethingは手と物体のインタラクションのデータセットであり、ACE-Data-0と比較される可能性がある。また、模倣学習のベンチマークとして、RoboMimicやMeta-Worldなども関連する。