拡散モデルによるテキスト指示からの空撮シネマトグラフィ

テキスト指示からUAVの撮影軌道を自動生成するシステム。 - ユーザは「右からゆっくり周回し滝を背景に」等の自然言語で撮影意図を記述。 - 機体カメラの初期スナップショットとプロンプトを入力。 - diffusion modelがシーン形状と撮影意図を満たす時空間運動計画を生成。 - UAVが自律飛行し滑らかで再現可能な映像を撮影。

従来は手動操縦が前提で、高レベル言語からの自動撮影は限定的。 - 本研究はdiffusion modelを「creative operator」として位置づけ、物語意図を直接飛行運動へ変換。 - 手動リモコンと比較しNASA-TLXで作業負荷が大幅低減(M=21.6 vs 58.1)。 - 精神的負荷(M=11.5 vs 60.5)とフラストレーション(M=14.0 vs 54.5)も低い。 - text-to-cinema flightという新しい対話パラダイムを提示。

diffusion modelによる時空間運動計画の生成が中核。 - 入力は自然言語プロンプトと機載カメラの初期視覚スナップショット。 - プロンプトをエンコードし、シーン形状と撮影意味論を満たす飛行軌道をサンプリング。 - 生成軌道をUAVが自律実行し、滑らかで再現可能な映像を取得。 - 詳細なネットワーク構成や学習手順は要旨からは不明。

ユーザ評価で有効性を検証。 - NASA-TLXを用い、提案インタフェースと従来の遠隔コントローラを比較。 - 総合作業負荷はM=21.6 vs 58.1で有意に低い。 - 精神的負荷(M=11.5 vs 60.5)とフラストレーション(M=14.0 vs 54.5)も有意に低い。 - 自律的なテキスト駆動飛行制御のユーザビリティ優位性を確認。

新しい対話パラダイム「text-to-cinema flight」を提示。 - diffusion modelが撮影意図を飛行運動へ変換する創造的オペレータとして機能。 - 作業負荷低減とユーザビリティ向上を示す。 - 一方、生成軌道の安全性・失敗事例・被験者数・シーン多様性などの詳細は要旨からは不明。

要旨で参照・比較されている研究は明示されていない。 - 関連手法としてdiffusion model、UAV自律飛行、text-to-motion生成、cinematography自動化の文献が候補。 - 具体的な論文名は要旨からは不明。