PoseLess: VLMによる画像から関節角度への直接マッピング制御
PoseLess: Depth-Free Vision-to-Joint Control via Direct Image Mapping with VLM
2D画像を直接関節角度に写像することで明示的な姿勢推定を不要にしたロボットハンド制御フレームワークを提案し、合成データで学習して実世界や異形態へのゼロショット汎化を実現した。
著者: Alan Dao, Dinh Bach Vu, Tuan Le Duc Anh, Bui Quang Huy
分類: cs.RO, cs.CL
原文アブストラクト
This paper introduces PoseLess, a novel framework for robot hand control that eliminates the need for explicit pose estimation by directly mapping 2D images to joint angles using projected representations. Our approach leverages synthetic training data generated through randomized joint configurations, enabling zero-shot generalization to real-world scenarios and cross-morphology transfer from robotic to human hands. By projecting visual inputs and employing a transformer-based decoder, PoseLess achieves robust, low-latency control while addressing challenges such as depth ambiguity and data scarcity. Experimental results demonstrate competitive performance in joint angle prediction accuracy without relying on any human-labelled dataset.
関連論文
- 学習済み力学系を用いた協調モバイルマニピュレーションマニピュレーション
- 内視鏡環境におけるMoveItを用いた逆運動学の改善マニピュレーション
- 複数の安定目標を持つ動作プリミティブを模倣学習するmulti-CONDORマニピュレーション
- 制御バリア関数と可変インピーダンス制御による全電動重作業ロボットマニピュレータの安全な物理的相互作用マニピュレーション
- 腕全体で大型物体を持ち上げる把持姿勢を学習するARMFULマニピュレーション
- ReuseMem:ロボットマニピュレーションにおける単一記憶の複数目標への再利用マニピュレーション
