VLK: 再構築シーンでの合成インタラクションによるヒューマノイドの移動操作学習

- 本論文は、知覚ベースのヒューマノイドloco-manipulationのための視覚-言語-運動学（VLK）監督を合成する手法を提案する。 - 3D Gaussian Splattingで再構築した屋内環境において、ナビゲーションと物体操作の軌道を合成し、後から一人称視点の観測をレンダリングする。 - 48,000のペア軌道を人手なしで生成し、短期的な全身運動学軌道を予測するVLKポリシーを訓練する。 - 全身トラッカーが予測を物理ヒューマノイドの行動に変換する。 - Unitree G1上でナビゲーションと単一物体輸送を評価し、合成相互作用がsim-to-realの知覚ベースloco-manipulationに有効な監督となることを示す。

- 既存のデータソースでは、一人称視点画像、言語コマンド、ロボット互換の運動学軌道を同期して大規模に提供するものはなかった。 - 本手法は、再構築シーン内でVLK監督を合成的に生成することで、このボトルネックを解決する。 - 人手を介さず48,000のペア軌道を生成し、大規模な監督を実現した点が先行研究と比べて優れている。 - 物理ヒューマノイド上でのsim-to-real転移を実証した点も特徴である。

- 3D Gaussian Splattingを用いてメートルスケールの屋内環境を再構築する。 - 特権的なシーン情報を利用してナビゲーションと物体操作の軌道を合成する。 - 事後的に一人称視点の観測をレンダリングし、視覚-言語-運動学のペアを生成する。 - VLKポリシーは短期的な全身運動学軌道を予測するように訓練される。 - 全身トラッカーが予測軌道を物理ヒューマノイドの行動に変換する。

- 物理的なUnitree G1を用いて、ナビゲーションと単一物体輸送のタスクを評価した。 - 合成された相互作用が、知覚ベースのヒューマノイドloco-manipulationのsim-to-realに有効な監督となることを示した。 - 具体的な評価指標やベースラインとの比較は要旨からは不明。

- 合成データが物理ヒューマノイドの知覚ベースloco-manipulationに有効であることを示唆している。 - 限界や課題、今後の展望についての議論は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、3D Gaussian Splatting、sim-to-real転移、loco-manipulation、全身トラッカーなどが挙げられる。 - 同分野の定番として、強化学習ベースのヒューマノイド制御や模倣学習に関する論文が次に読むべき候補となる。