EgoKit: 異種デバイスを統合した低コストな自己中心視点データ収集の実現

- EgoKitは、ロボット学習・活動理解・embodied AI研究向けのegocentric videoを、異種デバイス間で統一的に低コスト収集するtoolkit。 - Android phone、iPhone、iPad、smart glasses、XR headsetなど6種のhost deviceで同一の記録workflowを提供。 - 全対応デバイスで同じ録画操作とuniform log formatのローカル保存videoを生成。 - XR headsetではhead poseとOpenXR標準26-joint hand trackingをvideo streamに整列して記録。 - 2つのwrist camera、mount、head strap、USB-C hubなどのaccessoryでwrist-view captureを追加可能。

- 従来は各host deviceごとにSDK・raw camera access policy・外部USB cameraやon-device trackingの制限が異なり、収集がfragmentedだった。 - synchronized ego-viewとwrist-viewの取得は、単一proprietary platformへのcommitか、device間で転用できないone-off rigの構築に依存していた。 - EgoKitは6種のheterogeneous host devicesで同一workflowを実現し、custom hardware fabricationなしでwrist-viewを追加できる点が異なる。 - 単一platform依存やrigの非移植性という既存の制約を緩和する。

- 6種のhost deviceに対して同一のegocentric recording workflowをexposeするtoolkitを設計。 - 全デバイスで同じrecording interactionを提示し、uniform log formatでローカル保存videoを生成。 - XR headsetではhead poseとOpenXR-standard 26-joint hand trackingをvideo streamsにalignedしてlog。 - companion accessories（2 wrist cameras with mounts、head strap、USB-C hub）により、対応hostにwrist-view captureを追加。 - 詳細な実装やSDK抽象化の手法は要旨からは不明。

- 要旨からは不明。 - 6種のheterogeneous host devicesで同一workflowが動作することは述べられているが、定量評価やuser studyの有無は記載されていない。

- 要旨からは不明。 - 制限やfailure case、device間の同期精度、長期運用の課題などについての議論は記載されていない。

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法として、egocentric video collection、robot learning向けdata collection、OpenXR hand tracking、XR headsetによるtracking、wrist cameraによるmanipulation data収集などが挙げられる。 - 具体的な論文名は要旨からは不明。