In-N-On: 野生データとタスク特化データで自己中心視マニピュレーションをスケールアップ

- 目的: egocentric 動画をスケーラブルな manipulation ポリシー学習データ源として活用する手法 In-N-On の提案。 - データ分類: 人間データを in-the-wild と on-task の2種類に分類し、体系的な活用法を分析。 - データセット: PHSD を構築。1,000時間超の多様な in-the-wild egocentric データと、対象 manipulation タスクに直接対応する20時間超の on-task データを含む。 - モデル: 大規模 egocentric 言語条件付き flow matching ポリシー Human0 を学習。 - 目的: 人間と humanoid のギャップを domain adaptation で縮小し、人間データのスケーリング効果を引き出す。

- 先行研究の課題: データの異質性が大きく、既存手法の多くは人間データを単純な pre-training にのみ利用し、その潜在能力を十分に引き出せていない。 - 本研究の違い: in-the-wild と on-task にデータを分類し、それぞれの活用法を体系的に分析するスケーラブルなレシピを提示。 - データ規模: PHSD として1,000時間超の in-the-wild と20時間超の on-task を整備。 - 成果: 人間データのみからの言語指示追従、few-shot 学習、on-task データによる堅牢性向上といった新規特性を実証。

- データ収集・利用レシピ: egocentric 人間データを in-the-wild と on-task に分類し、体系的分析に基づき活用。 - データセット PHSD: 1,000時間超の多様な in-the-wild egocentric データと、対象タスクに直接整合する20時間超の on-task データで構成。 - モデル Human0: 大規模 egocentric 言語条件付き flow matching ポリシー。 - ドメイン適応: domain adaptation 手法により人間と humanoid 間のギャップを最小化。 - 学習: 上記データと適応手法を組み合わせ、スケーリングによる特性獲得を狙う。

- 実証項目: Human0 が人間データのスケーリングにより複数の新規特性を得ることを経験的に示す。 - 言語指示追従: 人間データのみから指示追従が可能になることを確認。 - few-shot 学習: few-shot 学習の特性を確認。 - 堅牢性: on-task データを用いることで堅牢性が向上することを確認。 - 詳細な実験設定・評価指標・ベースライン比較は要旨からは不明。

- データ異質性: egocentric 人間データの大きな異質性への対処が中心的論点で、in-the-wild と on-task の分類・活用法を分析。 - 人間-humanoid ギャップ: domain adaptation で縮小する方針を示すが、その限界や残存ギャップの議論は要旨からは不明。 - スケーリング効果: 言語追従・few-shot・堅牢性の獲得を報告するが、定量的な限界や失敗事例は要旨からは不明。 - データ規模の妥当性や on-task データの必要量に関する議論は要旨からは不明。

- Human0 の基盤となる flow matching ポリシーに関する研究。 - egocentric 動画を用いた manipulation 学習の既存研究（要旨では個別名の参照なし）。 - 人間から humanoid への domain adaptation / 模倣学習に関する研究。 - 言語条件付き manipulation ポリシーおよび few-shot 適応の研究。 - 関連データセットとして PHSD の詳細、および同分野の定番 egocentric データセット（例: Ego4D 等）の比較検討。