EgoCS-400K: 世界モデルのための自己中心型ゲームプレイデータセット

- 大規模な egocentric ゲームプレイデータセット EgoCS-400K を提案。 - 公開されたプロフェッショナル CS/CS2 の試合デモから構築。 - 400,000 以上の一人称視点動画、10,000 時間、1,000 試合以上、40,000 ラウンド。 - 13 マップ、各ラウンド 10 プレイヤー視点をカバー。 - プレイヤー状態、視点方向、移動、キーボード/ボタン入力、視角変化、武器使用、ゲームイベント、ラウンド文脈を抽出。 - 同一軌跡からクリーンな一人称視点動画をレンダリング。 - アクション条件付き未来予測、状態・イベント認識シーンロールアウト、リプレイに基づくキャプション生成、エージェントの自己中心的行動理解などのタスクを支援。

- Web 動画データセットは広い視覚カバレッジを持つが、実行可能なアクションと信頼できる状態を欠く。 - ロボティクスデータセットはアクションと状態の監督を提供するが、コストが高くシーン多様性が限られる。 - 既存シミュレータは大規模な人間駆動のインタラクション軌跡を欠くことが多い。 - EgoCS-400K は視覚観察を人間のアクション、カメラモーション、ゲーム状態、イベントと大規模に結びつけ、受動的 Web 動画、制御可能なゲームシミュレーション、高コストな実世界 embodied データの橋渡しを提供。

- 公開プロフェッショナル CS/CS2 マッチデモを利用。 - 人間のゲームプレイ軌跡を保持し、パース、リプレイ、レンダリング、時間的アラインメントを可能にする。 - プレイヤー状態、視点方向、移動、キーボード/ボタン入力、視角変化、武器使用、ゲームイベント、ラウンドレベル文脈を抽出。 - 同じ軌跡からクリーンな一人称視点動画をレンダリング。 - これにより時間的に整合した video-action-language 軌跡を提供。

- 要旨からは不明。 - データセットの規模と構成（400,000 以上の動画、10,000 時間、1,000 試合以上、40,000 ラウンド、13 マップ、各ラウンド 10 視点）が記述されている。 - 支援タスクとしてアクション条件付き未来予測、状態・イベント認識シーンロールアウト、リプレイに基づくキャプション生成、エージェントの自己中心的行動理解が挙げられている。 - 具体的な実験や評価結果は要旨からは不明。

- 要旨からは不明。 - データセットの利点として、受動的 Web 動画、制御可能なゲームシミュレーション、高コストな実世界 embodied データの橋渡しが挙げられている。 - 限界や議論については要旨からは不明。

- 要旨で参照/比較されている研究: Web 動画データセット、ロボティクスデータセット、既存シミュレータ。 - 関連手法: アクション条件付き未来予測、状態・イベント認識シーンロールアウト、リプレイに基づくキャプション生成、エージェントの自己中心的行動理解。 - 同分野の定番: world models、video generation、embodied AI に関する研究。