日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.34412

言語からタスクマップへ:タスクに関連する自由度を保ちながら意味的関係をコンパイルする

From Language to Task Maps: Compiling Semantic Relations While Preserving Task-Relevant Freedom

シェア:XThreadsFacebookLINEはてブBluesky

自然言語の操作指示を、型付きの意味-幾何インターフェースを通じてタスクマップに変換し、関係ごとの自由度を保ちつつRMPflowで制御する手法を提案した。

詳しい要約

1. どんなもの?

- 自然言語の manipulation 指示を、連続制御器が扱える state-evaluable な task quantity・微分・完了条件へ変換する枠組み。 - 言語は entity・relation・phase を指定し、各 relation は task-relevant distinction と preserved freedom の登録済み specification を索引する。 - robot-side compiler が specification を grounding し、conformal geometric algebra で relation-specific task map と consistent differential を構成、RMPflow で policy を合成する。

2. 先行研究と比べてどこがすごい?

- 従来は qualitative relation を完全な pose へ展開し、意図しない制約を導入しうる点が問題。 - 本研究は relation が指定しない relative configuration の自由度を preserved freedom として登録・保持する点が特徴。 - 言語モデルと compiler の責任分界を比較評価し、relation-specific geometric specification を追加要求する interface では critical error が 58/60 と増えることを示す。

3. 技術・手法の肝は?

- typed semantic-to-geometric interface を導入し、language 側は entity・relation・phase を指定。 - 各 relation は task-relevant distinction と preserved freedoms の registered specification を索引。 - compiler が conformal geometric algebra で relation-specific task map と consistent differential を構築。 - 得られた policy を RMPflow で合成し、composable continuous objective とする。

4. どうやって有効だと検証した?

- Semantic Topology interface と relation-specific geometric specification を追加要求する interface を 60 指示で比較。 - 両者とも shared semantic content は 41/60 で正しいが、critical error はそれぞれ 19/60 と 58/60。 - 8 つの geometric relation form にわたる 64 grounded evaluation で、task map が registered null direction を保持し relation-relevant perturbation に応答。 - analytic directional derivative が finite difference と一致し、Jacobian rank が registered dimension と一致。 - MuJoCo の simulated Franka Emika Panda による 3 つの closed-loop ablation で、rel…

5. 議論はある?

- relation-visible geometry と preserved freedom を同時に composable continuous objective へ compile する妥当性を支持。 - 言語モデルと compiler の責任分界が critical error に影響することを示唆。 - ただし要旨からは、実機実験・他タスクへの一般化・失敗事例の詳細は不明。

6. 次に読むべき論文は?

- RMPflow に関する研究。 - conformal geometric algebra を用いた manipulation 研究。 - Semantic Topology interface に関する研究。 - language-conditioned manipulation の定番手法(例: CLIPort, SayCan など)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jaegyun Park, Jingwang Lee, Jungsoo Lee, Soonwoong Hwang, Wansoo Kim

分類: cs.RO

原文アブストラクト

Natural-language manipulation instructions specify qualitative relations, whereas continuous controllers require state-evaluable task quantities, differentials, and completion conditions. Because a qualitative relation generally leaves part of the relative configuration unspecified, expanding it into a complete pose can introduce unintended constraints. We present a typed semantic-to-geometric interface in which language specifies entities, relations, and phases, while each relation indexes a registered specification of its task-relevant distinctions and preserved freedoms. A robot-side compiler grounds these specifications, constructs relation-specific task maps and consistent differentials using conformal geometric algebra, and composes the resulting policies through RMPflow. To evaluate the division of responsibility between the language model and the compiler, we compared a Semantic Topology interface with one that additionally requires relation-specific geometric specifications over 60 instructions. Both produced correct shared semantic content in 41/60 cases, but critical errors under their respective interface requirements occurred in 19/60 and 58/60 cases. Across 64 grounded evaluations spanning eight geometric relation forms, the task maps preserved registered null directions and responded to relation-relevant perturbations; analytic directional derivatives agreed with finite differences, and Jacobian ranks matched the registered dimensions. In three closed-loop ablations using a simulated Franka Emika Panda in MuJoCo, fixing a relation-preserved coordinate increased median terminal progress error by 20.24--71.00~mm while the retained relation errors remained within their evaluation bounds. These results support compiling relation-visible geometry and preserved freedom together into composable continuous objectives.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI