Ego-OSCAR: 自己中心視点のオープンソースステレオキャプチャシステム

Ego-OSCARは、オープンハードウェアで低コストな、頭部装着型のステレオ慣性計測デバイスである。野生環境での自己中心的なデータ収集を目的とし、ハードウェア同期されたグローバルシャッターのステレオカメラ、6軸IMU、組み込みLinux SBC（ビデオエンコード用）、リアルタイムマイクロコントローラ（ユーザーフィードバックとウォッチドッグ機能用）を備える。部品表は1台あたり200米ドル未満で、市販部品と3Dプリント部品のみを使用。ソフトウェアスタック（ハードウェアアクセラレーション録画パイプライン、IMUサンプリングデーモン、時刻同期ツール、ウォッチドッグファームウェア）と、分散コントリビュータネットワークにより収集された約550時間の自己中心的なステレオビデオ（同期IMU付き）を公開。データは注釈付きで、自由形式のアクションキャプションがほぼ全タイムラインをカバーし、フレームごとの3Dハンド再構成とセッションごとのステレオキャリブレーションが含まれる。

Project Ariaのような研究用システムは1台あたりの忠実度が高いが、高価で入手が難しい。Ego-OSCARは、1台あたりの忠実度でこれらに匹敵することを目指すのではなく、クラウドソースによる自己中心的なキャプチャのための最も安価で防御可能な基盤を提供することを目指す。これにより、自己中心的なデータを大規模に収集したいチームの参入障壁を下げる。

技術の肝は、低コストでありながらハードウェア同期されたステレオカメラとIMUを組み合わせ、組み込みLinux SBCでビデオエンコードを行い、リアルタイムマイクロコントローラでユーザーフィードバックとウォッチドッグ機能を実現する点。また、完全なソフトウェアスタックと、分散ネットワークによるデータ収集パイプラインを提供する点。データは生データではなく注釈付きで、自由形式のアクションキャプションと3Dハンド再構成を含む。

要旨からは、デバイスの有効性をどのように検証したかは不明。ただし、約550時間のデータを収集し、注釈を付けたことが示されており、これが実証的な検証の一部と考えられる。具体的な精度評価や比較実験については記載がない。

議論としては、Ego-OSCARはProject Ariaのような研究用システムの1台あたりの忠実度には及ばないが、コストとスケーラビリティを重視している点が挙げられる。また、データは注釈付きで提供されるが、生データではないため、ユーザーによっては制約があるかもしれない。さらに、分散コントリビュータネットワークによるデータ収集の品質管理や、プライバシーに関する懸念も考えられるが、要旨では明示されていない。

要旨で参照されているProject Ariaが関連研究として挙げられる。また、自己中心的なデータ収集やハンド再構成の分野では、Epic-KitchensやEgo4Dなどのデータセットや、ハンド再構成の手法（例えば、Manopthなど）が関連するが、要旨では明示されていないため、一般名で示す。