日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.02257

パノラマ認識型VLAによる全身遠隔操作を用いた移動操作の学習

Learning Panorama-Aware VLA for Mobile Manipulation with Whole-Body Teleoperation

シェア:XThreadsFacebookLINEはてブBluesky

全身遠隔操作システムとパノラマ認識型VLAポリシーを開発し、移動操作タスクの成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

本論文は、移動操作タスクのためのパノラマ認識型Vision-Language-Action (VLA)ポリシーであるPanoVLAを提案する。移動操作は、車輪付き双腕ロボットのベースとアームの協調制御を必要とし、既存のVLAモデルは局所カメラ視野に依存するため、大域的な空間理解が不足する。この問題に対し、全身テレオペレーションシステムとパノラマ認識型VLAポリシーを開発した。全身テレオペレーションシステムは、単一のVRインターフェースで車輪付き双腕ロボットの協調制御を可能にし、5.5時間のマルチモーダルデモンストレーションからなる実世界データセットを収集する。PanoVLAは、Mixture-of-Transformersアーキテクチャに基づき、専用のパノラマエンコーディングと融合モジュールを通じて大域的な空間コンテキストを導入し、パノラマ観測と言語命令、ロボット状態を効果的に統合してアクションを生成する。

2. 先行研究と比べてどこがすごい?

先行研究のVLAモデルは主に局所カメラ観測に依存しており、限られた視野が大域的な空間理解を妨げていた。また、移動操作のための高品質な全身デモンストレーションの効率的な収集は、モバイルベースとアームの協調制御を必要とし、困難であった。本提案は、パノラマ観測を導入することで大域的な空間コンテキストを提供し、局所視野の制限を克服する点で優れている。さらに、単一のVRインターフェースによる全身テレオペレーションシステムを開発し、データ収集の効率性を向上させている。

3. 技術・手法の肝は?

技術の肝は、PanoVLAのアーキテクチャとデータ収集システムにある。PanoVLAはMixture-of-Transformersアーキテクチャを基盤とし、専用のパノラマエンコーディングモジュールと融合モジュールを導入する。パノラマ観測をエンコードし、言語命令とロボット状態と効果的に統合してアクションを生成する。データ収集には、全身テレオペレーションシステムを開発し、単一のVRインターフェースで車輪付き双腕ロボットのベースとアームを協調制御する。これにより、5.5時間のマルチモーダルデモンストレーションを収集する。

4. どうやって有効だと検証した?

実世界の4つの移動操作タスクで評価を行った。PanoVLAは平均ステージ完了率91.3%、エンドツーエンド成功率73.4%を達成し、局所視野のベースラインを大幅に上回った。これにより、パノラマ空間コンテキストの統合が空間理解と閉ループ操作性能を向上させることが示された。

5. 議論はある?

要旨からは、議論の詳細は不明である。ただし、パノラマ観測の導入が有効であることが示された一方で、データ収集の規模やタスクの多様性、他の環境での汎用性などに関する議論が考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

要旨で参照されている研究は明示されていないが、関連手法として、Vision-Language-Action (VLA)モデル、Mixture-of-Transformersアーキテクチャ、全身テレオペレーションシステム、移動操作のためのデータセット収集手法などが挙げられる。具体的には、RT-2やOctoなどのVLAモデル、および移動操作のための既存のデータセットや手法が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Donglin Yang, Haoran Chen, Xingyu Chen, Lixing Liu, Manyi Li, Changhe Tu, Ke Xu, Xiaojian Ma, Si Liu

分類: cs.RO

原文アブストラクト

Mobile manipulation is a key capability for embodied intelligence, enabling robots to accomplish complex multi-stage tasks in open-world environments. However, mobile manipulation poses two key challenges for vision-language-action (VLA) policies: At the data level, the efficient collection of high-quality whole-body demonstrations demands the coordinated control of both the mobile base and the robotic arms; at the model level, existing VLA models predominantly rely on local camera observations, whose limited field of view hinders global spatial understanding. To address these challenges, we develop a whole-body teleoperation system and a panoramic-aware VLA policy. The system enables coordinated control of a wheeled bimanual robot through a single VR interface and supports the acquisition of a real-world mobile manipulation dataset comprising 5.5 hours of multimodal demonstrations. Building upon this dataset, we propose PanoVLA, a panorama-aware vision-language-action policy for mobile bimanual manipulation. Built upon a Mixture-of-Transformers architecture, PanoVLA introduces global spatial context through dedicated panorama encoding and fusion modules, enabling effective integration of panoramic observations with language instructions and robot states for action generation. Evaluation on four real-world mobile manipulation tasks demonstrates that PanoVLA achieves an average stage completion rate of 91.3\% and an end-to-end success rate of 73.4\%, substantially outperforming local-view baselines. These results demonstrate that incorporating panoramic spatial context improves spatial understanding and closed-loop manipulation performance in mobile robots.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI