EgoVine: 実世界動画から分岐経験を構築するポストトレーニング

- 実世界の egocentric 動画から得た家庭内 multi-step 手順を、実行可能な symbolic environment に変換し、その上で long-horizon planning を post-training する枠組み EgoVine を提案する研究。 - 固定の demonstration 集合を interactive な experience に変え、agent は partial observation 下で object manipulation を調整し、遅延した結果を考慮する必要がある。 - 学習者は decision state を復元して代替行動を探索し、最終的な結果を比較できる。 - EgoVine-1.5B という compact planner を学習し、共有 benchmark で評価している。

- 従来の実世界 egocentric 動画は multi-step 手順を含むが、記録済み trajectory のみで代替行動や自分の誤りからの recovery は十分に探求されていない、という課題を指摘。 - EgoVine は固定 demonstration を超え、decision state の復元により代替行動の探索と結果比較を可能にする点が新しい。 - 記録済み trajectory の模倣にとどまらず、選択と未来について compact planner を反復的に学習させる点を特徴とする。 - 共有 benchmark で EgoVine-1.5B が Main planning 81.8%、longer task compositions 66.7% を達成し、評価したすべての Flash LLM baseline を上回ったと報告。

- 実世界動画の annotation から executable symbolic environment を compile し、その中で agent が partial observation と遅延結果の下で object manipulation を調整する。 - decision state を復元することで、学習者が代替行動を探索し、その最終結果を比較できるようにする。 - Union は action generation と consequence prediction を単一モデルで jointly に訓練し、同一の execution を candidate comparison と recovery の supervision に用いる。 - verified repairs により失敗試行から recovery target を追加し、sampled continuations 間の比較が policy update を導く。 - 更新された planner は環境に戻り、自身の決定と誤りが次ラウンドの experience を形成する反復的学習ループを構成す…

- 共有 benchmark 上で EgoVine-1.5B を評価。 - Main planning タスクで 81.8% の success、longer task compositions で 66.7% の success を達成。 - 評価したすべての Flash LLM baseline に対して両方の設定で上回ったと報告。 - 具体的な baseline 名や ablation の詳細は要旨からは不明。

- 実世界動画の記録 trajectory を超え、代替行動の探索・結果比較・失敗からの recovery を学習に取り込む意義を論じている。 - 実 demonstration と反復的学習プロセスを接続し、記録外の選択と未来について compact planner を訓練できる点を主張。 - 限界や失敗事例、symbolic environment への変換誤差、実世界への汎化に関する議論は要旨からは不明。

- 要旨で参照・比較されている Flash LLM baselines の各論文。 - egocentric 動画を用いた long-horizon planning や household procedure 学習の関連研究。 - symbolic environment 上での post-training、action generation と consequence prediction の jointly 学習に関する研究。 - 失敗からの recovery や verified repair を用いた policy learning の関連手法。