マニピュレーション2025/12/1arXiv:2512.20166

LoLA: 汎用ロボットマニピュレーションのための長期的潜在行動学習

LoLA: Long Horizon Latent Action Learning for General Robot Manipulation

多視点観測と固有感覚を統合し、視覚言語表現をロボットの運動空間に接地させることで、長期的な言語誘導マニピュレーションを可能にするフレームワークLoLAを提案した。

詳しい要約

1. どんなもの？

- 長期的な言語誘導ロボットマニピュレーションのためのVLAフレームワーク「LoLA (Long Horizon Latent Action Learning)」 - 多視点観測とrobot proprioceptionを統合し、多段階推論と行動生成を可能にする - 履歴系列と多視点観測からVision-Language Modelsで文脈特徴を符号化 - 視覚入力と言語コマンドを行動空間へ変換するState-Aware Latent Re-representationモジュールを中核に持つ

2. 先行研究と比べてどこがすごい？

- 既存VLAモデルは履歴情報の活用と一貫した行動系列生成を軽視していた点を指摘 - 既存手法はrobot proprioception(関節角等)をVL埋め込みに単純連結するのみ - LoLAはrobot stateを物理スケールに明示的に接地するlearnableなembodiment-anchored潜在空間を用いる点が新しい - 長期的マニピュレーションでpi0等の先行SOTAを大きく上回ると報告

3. 技術・手法の肝は？

- Vision-Language Modelsで履歴系列・多視点観測の文脈特徴を符号化 - State-Aware Latent Re-representationモジュールで視覚と言語を行動可能なロボット運動空間へ変換 - robot proprioceptionを単純連結せず、物理スケールに接地するembodiment-anchored潜在空間を学習 - 長期の多視点観測とproprioceptionを統合し多段階推論・行動生成を実現

4. どうやって有効だと検証した？

- 多様なロボティック事前学習データセットでLoLAを学習 - シミュレーションベンチマークSIMPLERとLIBEROで評価 - FrankaおよびBi-Manual Alohaロボット上の2つの実世界タスクで評価 - 長期的マニピュレーションタスクでpi0等の先行SOTAを有意に上回る結果

5. 議論はある？

- 要旨からは不明(具体的な限界・失敗事例・議論の詳細は記述なし) - 長期的タスクでの優位性は示されるが、計算コストや汎化性の議論は要旨に無い

6. 次に読むべき論文は？

- pi0(比較対象の先行SOTA VLA) - Vision-Language-Action (VLA)モデル全般 - SIMPLERおよびLIBEROベンチマーク関連研究 - Franka・Bi-Manual Alohaを用いた実世界マニピュレーション研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaofan Wang, Xingyu Gao, Jianlong Fu, Zuolei Li, Dean Fortier, Galen Mullins, Andrey Kolobov, Baining Guo

分類: cs.RO

原文アブストラクト

The capability of performing long-horizon, language-guided robotic manipulation tasks critically relies on leveraging historical information and generating coherent action sequences. However, such capabilities are often overlooked by existing Vision-Language-Action (VLA) models. To solve this challenge, we propose LoLA (Long Horizon Latent Action Learning), a framework designed for robot manipulation that integrates long-term multi-view observations and robot proprioception to enable multi-step reasoning and action generation. We first employ Vision-Language Models to encode rich contextual features from historical sequences and multi-view observations. We further introduces a key module, State-Aware Latent Re-representation, which transforms visual inputs and language commands into actionable robot motion space. Unlike existing VLA approaches that merely concatenate robot proprioception (e.g., joint angles) with VL embeddings, this module leverages such robot states to explicitly ground VL representations in physical scale through a learnable "embodiment-anchored" latent space. We trained LoLA on diverse robotic pre-training datasets and conducted extensive evaluations on simulation benchmarks (SIMPLER and LIBERO), as well as two real-world tasks on Franka and Bi-Manual Aloha robots. Results show that LoLA significantly outperforms prior state-of-the-art methods (e.g., pi0), particularly in long-horizon manipulation tasks.

arXivで原文を読む →arXiv概要ページ

LoLA: 汎用ロボットマニピュレーションのための長期的潜在行動学習

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell