EgoVLA：自己中心視点の人間動画から視覚-言語-行動モデルを学習

- 一人称視点（egocentric）の人間動画から Vision-Language-Action（VLA）モデルを学習する手法 EgoVLA を提案する研究。 - 人間動画で手首・手の動作を予測する VLA を学習し、Inverse Kinematics と retargeting で人間の動作をロボット動作へ変換する。 - 少数のロボット操作デモで fine-tune してロボット policy を得る。 - 両手操作タスクを設計したシミュレーションベンチマーク Ego Humanoid Manipulation Benchmark も提案する。

- 従来の imitation learning は実ロボットデータ収集を前提とし、ロボットハードウェアの必要性がデータ規模を根本的に制約していた。 - 本研究は egocentric human videos を学習に用いることで、規模だけでなくシーンやタスクの多様性・豊かさを活用できる点を利点とする。 - 人間動画で学習した VLA を IK と retargeting でロボット動作に変換し、少数のロボットデモの fine-tune で policy 化する点が特徴。 - 提案ベンチマーク上で baselines に対し有意な改善を示し、人間データの重要性を ablation で確認したと主張。

- egocentric human videos を用い、人間の wrist と hand の action を予測する VLA を学習する。 - 予測された人間 action を Inverse Kinematics と retargeting によりロボット action へ変換する。 - 変換後のデータ／モデルを少数のロボット manipulation demonstrations で fine-tune し、ロボット policy EgoVLA を得る。 - 評価用に両手操作の多様なタスクとデモを設計した Ego Humanoid Manipulation Benchmark を構築する。

- 提案する Ego Humanoid Manipulation Benchmark 上で EgoVLA を fine-tune し評価。 - baselines と比較して有意な改善を報告。 - 人間データの重要性について ablation を実施。 - 詳細な実験設定・指標・数値は要旨からは不明。

- 人間動画の利点として規模に加えシーン・タスクの豊かさを挙げている。 - 人間 action からロボット action への IK・retargeting 変換を介する設計の影響や限界については要旨からは不明。 - シミュレーションベンチマークでの評価が中心であり、実機での検証や sim-to-real の議論は要旨からは不明。 - 人間データの ablation の具体的結果や定量的議論は要旨からは不明。

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として Vision-Language-Action（VLA）モデル、imitation learning、Inverse Kinematics、retargeting に関する研究を挙げる。 - 評価基盤として提案された Ego Humanoid Manipulation Benchmark 自体も参照すべき資料。 - egocentric human video を用いたロボット学習や human-to-robot action transfer の同分野研究が次の候補。