AlphaSpace: 意味トークン化と記号推論によるロボット動作の実現
AlphaSpace: Enabling Robotic Actions through Semantic Tokenization and Symbolic Reasoning
物体の属性・位置・高さを構造化トークンで符号化し、LLMが3D空間で正確に物体を操作できるようにする手法を提案。従来手法を上回る精度を達成した。
著者: Alan Dao, Dinh Bach Vu, Bui Quang Huy
分類: cs.CL, cs.RO
原文アブストラクト
This paper presents AlphaSpace, a novel methodology designed to enhance the spatial reasoning capabilities of language models for robotic manipulation in 3D Cartesian space. AlphaSpace employs a hierarchical semantics-based tokenization strategy that encodes spatial information at both coarse and fine-grained levels. Our approach represents objects with their attributes, positions, and height information through structured tokens, enabling precise spatial reasoning without relying on traditional vision-based embeddings. This approach enables LLMs to accurately manipulate objects by positioning them at specific (x, y, z) coordinates. Experimental results suggest that AlphaSpace demonstrates promising potential for improving manipulation tasks, achieving a total accuracy of 66.67%, compared to 37.5% for GPT-4o and 29.17% for Claude 3.5 Sonnet. These results demonstrate the potential of structured spatial encoding for manipulation tasks and warrant further exploration.
関連論文
- 学習済み力学系を用いた協調モバイルマニピュレーションマニピュレーション
- 内視鏡環境におけるMoveItを用いた逆運動学の改善マニピュレーション
- 複数の安定目標を持つ動作プリミティブを模倣学習するmulti-CONDORマニピュレーション
- 制御バリア関数と可変インピーダンス制御による全電動重作業ロボットマニピュレータの安全な物理的相互作用マニピュレーション
- 腕全体で大型物体を持ち上げる把持姿勢を学習するARMFULマニピュレーション
- ReuseMem:ロボットマニピュレーションにおける単一記憶の複数目標への再利用マニピュレーション
