CameraAnything: 任意のカメラ制御による映像の再撮影

CameraAnythingは、カメラ制御による動画編集のための最初の統一フレームワークであり、内部パラメータ（焦点距離など）と外部パラメータ（視点など）の両方を同時に制御できる。任意のカメラ視点、焦点距離、解像度でのリフレーミング（再撮影）を単一の生成プロセスで実現する。

既存手法は、高コストな3D再構成に依存して完全なカメラ機能を実現するか、外部パラメータの操作のみに限定されていた。CameraAnythingは、3D再構成を必要とせず、内部・外部パラメータの結合制御を可能にし、さらに解像度のネイティブ編集（クロップやアウトペインティングなし）を実現する点で優れている。

手法の核心は、ピクセル単位のPlücker ray注入と、解像度を考慮した3D RoPE（Rotary Position Embedding）をself-attentionに組み込むこと。これにより、カメラ条件付けと空間位置エンコーディングをターゲットの潜在表現上に構築し、カメラ位置、焦点距離、ネイティブ解像度編集を同時に制御する。また、ペアデータ不足を解決するため、構造化されたマルチカメラ記録による多様な動的シーンを構築するスケーラブルな合成パイプラインを開発し、異なるカメラ設定で同期したビデオを生成する。さらに、直交トレーニング戦略により、単一生成プロセスでの表現力豊かなリショットを可能にする。

要旨からは具体的な検証方法（データセット、比較ベースライン、評価指標など）は不明。ただし、合成パイプラインで生成したデータを用いてトレーニングし、任意の視点制御、焦点距離調整、解像度適応、マルチショット遷移の実現可能性を示したと述べられている。

要旨からは、内部・外部パラメータの結合影響が動画外観に与える影響の分離が難しいという課題に対処したとあるが、具体的な限界や議論（例えば、合成データと実データのギャップ、計算コスト、一般化性能など）については言及されていない。

要旨で参照されている既存研究は明示されていないが、関連する分野として、カメラ制御を用いたビデオ編集（例：Neural Radiance Fieldsを用いた3D再構成ベースの手法）や、ビデオ生成におけるカメラ条件付け（例：Video Diffusion Models）が挙げられる。具体的には、3D再構成を用いた手法や、外部パラメータのみを制御する既存のビデオ編集手法を読むとよい。