日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.18644

視覚運動ポリシーに固有感覚状態は必要か?

Do You Need Proprioceptive States in Visuomotor Policies?

シェア:XThreadsFacebookLINEはてブBluesky

固有感覚入力を排除し視覚のみで動作を予測するState-free Policyを提案し、空間汎化性能が大幅に向上することを示した。

詳しい要約

1. どんなもの?

- 視覚と言語ではなく視覚のみを条件とする visuomotor policy の提案 - 従来の imitation learning では visual observations と proprioceptive states を併用するのが一般的 - 本研究は proprioceptive state 入力を除去した State-free Policy を提案 - 相対 end-effector action space で構築し、dual wide-angle wrist cameras による視覚入力を前提 - pick-and-place、shirt-folding、whole-body manipulation など複数 embodiment で評価

2. 先行研究と比べてどこがすごい?

- 従来の state-based policy は proprioceptive state に過度に依存し、訓練軌道へ過学習しやすいと指摘 - その結果、空間的な generalization が悪化することを実験的に示す - State-free Policy は視覚のみで行動を予測し、空間 generalization を大幅改善 - 実世界タスクで height generalization の平均成功率が 0% から 85% へ向上 - horizontal generalization は 6% から 64% へ向上し、data efficiency と cross-embodiment adaptation でも優位

3. 技術・手法の肝は?

- proprioceptive state 入力を取り除き、visual observations のみを条件に action を予測 - 相対 end-effector action space 上で policy を構築 - タスクに関連する視覚情報を十分に得るため dual wide-angle wrist cameras を採用 - state-based policy との比較により、state 依存が訓練軌道への過学習を招くという仮説を検証 - 複数の実世界タスクと複数 embodiment にまたがる評価設計

4. どうやって有効だと検証した?

- 実世界タスクとして pick-and-place、shirt-folding、complex whole-body manipulation を実施 - 複数の robot embodiments にまたがって評価 - height generalization で平均成功率 0% から 85% への改善を報告 - horizontal generalization で 6% から 64% への改善を報告 - data efficiency と cross-embodiment adaptation の利点も実験的に示す

5. 議論はある?

- proprioceptive state の併用が常に有効という通説に疑問を提示 - state 入力が訓練軌道への過学習と空間 generalization の低下を招く可能性を議論 - 視覚のみで十分な制御が可能な条件として、相対 end-effector action space と dual wide-angle wrist cameras の重要性を示唆 - 実世界展開に向けた practicality の向上を主張 - 具体的な限界や失敗事例、理論的解析は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は不明 - 関連手法として imitation-learning-based visuomotor policies、state-based policy が挙げられる - 同分野の定番として behavior cloning、visuomotor policy learning、end-effector action space に関する研究を次に読むべき - cross-embodiment adaptation や data efficiency に関連する robot manipulation の研究も候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Juntu Zhao, Wenbo Lu, Di Zhang, Yufeng Liu, Yushen Liang, Tianluo Zhang, Yifeng Cao, Junyuan Xie, Yingdong Hu, Shengjie Wang, Junliang Guo, Dequan Wang, Yang Gao

分類: cs.RO, cs.AI

原文アブストラクト

Imitation-learning-based visuomotor policies have been widely used in robot manipulation, where both visual observations and proprioceptive states are typically adopted together for precise control. However, in this study, we find that this common practice makes the policy overly reliant on the proprioceptive state input, which causes overfitting to the training trajectories and results in poor spatial generalization. On the contrary, we propose the State-free Policy, removing the proprioceptive state input and predicting actions only conditioned on visual observations. The State-free Policy is built in the relative end-effector action space, and should ensure the full task-relevant visual observations, here provided by dual wide-angle wrist cameras. Empirical results demonstrate that the State-free policy achieves significantly stronger spatial generalization than the state-based policy: in real-world tasks such as pick-and-place, challenging shirt-folding, and complex whole-body manipulation, spanning multiple robot embodiments, the average success rate improves from 0% to 85% in height generalization and from 6% to 64% in horizontal generalization. Furthermore, they also show advantages in data efficiency and cross-embodiment adaptation, enhancing their practicality for real-world deployment. Discover more by visiting: https://statefreepolicy.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI