受動的ビデオから編集可能な体験へ：身体化知能のための物理的基盤を持つ体験合成

Pegasusは、人間の操作ビデオをロボットが学習可能なデータに変換する低リソースのフレームワークを提案する。生のビデオプロンプトに頼るのではなく、Task Graph、Affordance and Constraint Graphs、Robot Planning Graphからなるグラフベースの中間表現を構築し、ロボット条件付きビデオ生成を行う。階層的affordance潜在空間と閉ループ物理検証器を備え、embodiment gapを橋渡しする。

従来は生のビデオから直接学習する試みがあったが、人間とロボットの形態差（embodiment gap）により困難だった。Pegasusは構造化された知識転送を導入し、ビデオをロボット固有の条件に合わせて変換することで、このギャップを明示的に扱う点が新しい。また、affordance潜在空間により物体の同一性を超えた一般化を実現し、物理検証器で無効な生成をフィルタリングする点も優れている。

手法の核は、人間のビデオからTask Graphを抽出し、Affordance and Constraint Graphsを経てRobot Planning Graphへ変換するグラフベースのパイプラインである。階層的affordance潜在空間が物体状態・affordance・タスク間の関係をモデル化し、ロボット条件付きビデオ生成を可能にする。さらに、運動学的実現可能性、衝突制約、関節限界を考慮した閉ループ物理検証器が生成をフィルタリングする。

GTEA Gaze+とEPIC-KITCHENS-100のegocentric操作ベンチマークと、多様なロボットembodimentを用いて評価した。評価指標はTask Correctness、Executability、State Consistency、Learnabilityであり、クロスembodiment翻訳の信頼性と、ロボットデータ生成がハードウェア収集問題からスケーラブルな知識転送問題に再構成できることを示した。

要旨からは、提案手法の限界や潜在的な問題についての議論は不明。ただし、低リソースでの知識転送を謳う一方で、グラフ構築やaffordance学習に必要なアノテーションや計算コストがどの程度かは不明。また、物理検証器がすべての無効生成を排除できる保証はなく、複雑なタスクでのスケーラビリティに課題が残る可能性がある。

要旨で参照されているGTEA Gaze+やEPIC-KITCHENS-100のデータセットに関する論文、およびembodied AIにおけるデータ生成や模倣学習の関連研究（例：Learning from Play、Video-based Imitation Learning）が挙げられる。具体的には、ビデオからのロボット学習を扱う既存研究（例：RoboNet、Something-Something）や、affordance学習の基礎となった研究（例：Affordance Learning）が関連する。