日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

共有自律 / VLA / 遠隔操作arXiv:2606.15568

SAPS: 遠隔操作と事前学習VLAのブレンドによるポリシー誘導の共有自律

SAPS: Shared Autonomy for Policy Steering by Blending Teleoperation with a Pretrained VLA

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みのVLAポリシーと人間の遠隔操作をアクションレベルでブレンドする共有自律フレームワークを提案し、再学習や追加モデルなしで成功率を最大82%向上させた。

詳しい要約

1. どんなもの?

- 本論文は、Vision-Language-Action (VLA) モデルと人間のテレオペレーションを組み合わせる Shared Autonomy for Policy Steering (SAPS) を提案する。 - SAPS は、事前学習済み VLA ポリシーの行動とリアルタイムの人間のテレオペレーションコマンドを行動レベルでブレンドするフレームワークである。 - ポリシーの再学習、補助的なダイナミクスモデル、アーキテクチャの変更を必要としない。 - 人間と VLA ポリシーの制御をバランスするために、動的な Cosine-similarity arbitration を含む3つの仲裁戦略を提案・評価する。 - シミュレーション (LIBERO, LIBERO-PRO, CALVIN) と実世界のロボットハードウェアで評価され、自律実行と比較してタスク成功率を最大82%向上させる。 - 純粋なテレオペレーションと比較して人間の介入を大幅に削減し、自律実行と純粋なテレオペレーションの両方よりもタスク完了時間を短縮する。

2. 先行研究と比べてどこがすごい?

- 既存のポリシーステアリング手法は、補助モデルやサンプラー修正を必要とすることが多いが、SAPS はそれらを必要としない。 - 人間のテレオペレーションは信頼性の高い回復を提供するが、高い認知負荷と正確な手動制御を要求する。SAPS は人間の介入を大幅に削減する。 - 事前学習済み VLA ポリシーは分布外の空間的・意味的摂動に対して脆弱であるが、SAPS は人間のコマンドをブレンドすることで成功率を最大82%向上させる。 - モデルに依存しないアプローチであり、再学習なしで一般のロボットポリシーに適用可能。

3. 技術・手法の肝は?

- SAPS は、人間のテレオペレーションコマンドと事前学習済み VLA ポリシーの行動を行動レベルでブレンドする。 - ポリシーの再学習、補助的なダイナミクスモデル、アーキテクチャの変更は不要。 - 人間と VLA ポリシーの制御をバランスするために、3つの仲裁戦略を提案。 - 動的な Cosine-similarity arbitration 戦略は、人間とポリシーの行動間の幾何学的な一致度を計算する。 - これにより、人間の介入とポリシーの自律性を動的に調整する。

4. どうやって有効だと検証した?

- シミュレーション環境 (LIBERO, LIBERO-PRO, CALVIN) と実世界のロボットハードウェアで評価を実施。 - 自律実行と比較して、シミュレーションと実世界の両方でタスク成功率を最大82%向上させた。 - 純粋なテレオペレーションと比較して、人間の介入を大幅に削減した。 - 自律実行と純粋なテレオペレーションの両方よりもタスク完了時間を短縮した。

5. 議論はある?

- 行動レベルの共有自律性は、人間のオペレータが関与する実世界のコンテキストで一般のロボットポリシーを確実に展開するための実用的でモデルに依存しないアプローチであることを示す。 - 支援テレオペレーションやスケーラブルなデータ収集への応用が期待される。 - 具体的な議論の詳細(限界、失敗事例、仲裁戦略の比較など)は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: Vision-Language-Action (VLA) モデル、既存のポリシーステアリング手法、LIBERO, LIBERO-PRO, CALVIN ベンチマーク。 - 関連手法: テレオペレーション、共有自律性 (shared autonomy)、ポリシーステアリング。 - 次に読むべき論文として、これらのベンチマークや手法に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Crystal Zhou, Jehan Yang, Douglas J. Weber, Zackory Erickson

分類: cs.RO

原文アブストラクト

Recent advancements in Vision-Language-Action (VLA) models have demonstrated impressive generalist capabilities in robot manipulation, yet these policies can be brittle under out-of-distribution spatial and semantic perturbations. While human teleoperation offers reliable recovery, it can demand high cognitive load and precise manual control, and existing policy steering methods often require auxiliary models or sampler modifications. In this work, we introduce Shared Autonomy for Policy Steering (SAPS), a framework that blends real-time human teleoperation commands with pretrained policy actions at the action level. SAPS requires no policy retraining, auxiliary dynamics models, or architectural modifications. We propose and evaluate three arbitration strategies to balance human and VLA policy control, including a dynamic Cosine-similarity arbitration strategy that computes the geometric agreement between human and policy actions. Across evaluations in simulation (LIBERO, LIBERO-PRO, CALVIN) and on real-world robot hardware, SAPS improves task success rates over autonomous execution by up to 82% in both simulation and the real world. Furthermore, our approach drastically reduces human intervention compared to pure teleoperation, while simultaneously achieving faster task completion times than both autonomous execution and pure teleoperation. These results demonstrate that action-level shared autonomy is a practical, model-agnostic approach for reliably deploying generalist robot policies in real-world contexts involving a human operator,with promising applications in assistive teleoperation and scalable data collection.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI