VLA/シミュレーション/人型ロボット2026/6/1arXiv:2606.01458

LEGS: 具現化ガウススプラッティング世界における遠隔操作不要のVLA微調整による人型ロコ操作

LEGS: Fine-Tuning Teleop-Free VLAs for Humanoid Loco-manipulation in an Embodied Gaussian Splatting World

人型ロボットの移動操作タスク向けに、遠隔操作デモなしで合成データを生成し、VLAポリシーを微調整するハイブリッドシミュレータLEGSを提案。3DGS背景とメッシュ前景を組み合わせ、実機で遠隔操作デモと同等以上の性能を達成した。

詳しい要約

1. どんなもの？

LEGS（Loco-manipulation via Embodied Gaussian Splatting）は、humanoid の loco-manipulation 向け VLA ポリシーを、teleoperation デモなしで fine-tuning するための hybrid simulator である。 - mesh foreground（robot, objects, props）を、handheld scene capture から再構成した photorealistic な 3D Gaussian Splatting（3DGS）背景に合成する。 - procedural motion-primitive generator により、ラベル付きデモを大規模に自動生成する。 - Unitree G1 humanoid 上で、pick-and-place タスクと複数の VLA backbone を用いて評価する。

2. 先行研究と比べてどこがすごい？

従来、humanoid loco-manipulation の VLA 学習は human teleoperation デモ収集の高コスト・複雑さに制約され、simulator で fine-tuning した VLA は実機転移が不十分だった。 - LEGS は teleoperation デモのみで学習したポリシーに対し、全実験で同等以上を達成する。 - 3DGS 背景を除いた mesh-only simulation baseline も上回り、photorealistic rendering が synthetic data transfer の鍵であることを示す。 - 同一の自動生成デモを新背景・新物体 mesh で再レンダリングでき、teleoperation 比 15 倍以上低コストで新シーンをカバーできる。

3. 技術・手法の肝は？

LEGS の肝は以下の構成にある。 - mesh foreground（robot, objects, props）と、handheld scene capture から再構成した photorealistic 3D Gaussian Splatting（3DGS）背景を合成する hybrid simulator。 - procedural motion-primitive generator により、human teleoperation なしでラベル付きデモを大規模合成する。 - deterministic two-stage color calibration により、レンダリングされた 3DGS 画像を実機の deployment camera に整合させる。 - humanoid motion を scene appearance と独立に記録し、同じ自動生成デモを新背景・新物体 mesh で再レンダリング可能にする。

4. どうやって有効だと検証した？

Unitree G1 humanoid 上で、whole-body 難易度が増加する 3 つの pick-and-place タスクと 3 つの VLA backbone（psi_0, pi_0.5, GR00T N1.6）を用いて検証した。 - LEGS データのみで学習したポリシーは、全実験で human teleoperation デモ学習ポリシーと同等以上。 - 3DGS 背景を除いた mesh-only simulation baseline を上回る。 - object-and-scene appearance shift 下で、再レンダリングした LEGS-AUG データ学習ポリシーはタスク成功を維持する一方、teleoperation データ学習 baseline は完全に失敗する。

5. 議論はある？

要旨からは、限界や失敗事例、計算コスト、実機での安全性、3DGS 再構成の品質依存性などに関する明示的な議論は述べられていない。 - 主張されている議論は、photorealistic rendering が synthetic data transfer の鍵である点、および scene variation への robustness を低コストで拡張できる点である。 - それ以外の議論は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照・比較されている研究・手法として、以下が挙げられる。 - human teleoperation demonstrations による VLA 学習 - simulator で fine-tuned した VLA ポリシー - 3D Gaussian Splatting（3DGS） - mesh-only simulation baseline - VLA backbone: psi_0, pi_0.5, GR00T N1.6 - Unitree G1 humanoid - procedural motion-primitive generator - LEGS-AUG これらに関連する論文や、humanoid loco-manipulation 向け VLA、sim-to-real transfer、photorealistic simulation の定番研究を次に読むべき候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hojune Kim, Timothy Chen, Jiankai Sun, Lars W. Osterberg, Qianzhong Chen, Ke Wang, Mac Schwager

分類: cs.RO

原文アブストラクト

Training vision-language-action (VLA) policies for humanoid loco-manipulation is constrained by the high cost and complexity of collecting human teleoperation demonstrations. VLA policies fine-tuned in simulators have, until now, failed to transfer effectively in humanoid loco-manipulation tasks. We present LEGS (Loco-manipulation via Embodied Gaussian Splatting), a hybrid simulator that composites a mesh foreground (robot, objects, props) over a photorealistic 3D Gaussian Splatting (3DGS) background reconstructed from a handheld scene capture. LEGS uses a procedural motion-primitive generator to synthesize labeled demonstrations at scale without human teleoperation, and a deterministic two-stage color calibration to align the rendered 3DGS image to the robot's deployment camera. On a Unitree G1 humanoid robot, across three pick-and-place tasks of increasing whole-body difficulty and three VLA backbones (psi_0, pi_0.5, GR00T N1.6), a policy trained purely on LEGS data matches or exceeds one trained on human teleoperation demos on every experiment. It also outperforms a mesh-only simulation baseline that ablates the effect of the 3DGS background, showing that photorealistic rendering is a key enabler for synthetic data transfer. Humanoid motion is recorded independently of scene appearance in LEGS, allowing the same auto-generated demonstrations to be re-rendered under new backgrounds and object meshes--covering a new scene at more than 15x lower cost than teleoperation--to augment training data for robustness to scene variations. Under combined object-and-scene appearance shift, the policy trained on re-rendered LEGS-AUG data maintains task success while the baseline trained on teleoperation data fails entirely. Our project page is located at https://legsvla.github.io/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧