日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.17524

KineVLA: 運動学を考慮した視覚言語行動モデルと二段階行動分解

KineVLA: Towards Kinematics-Aware Vision-Language-Action Models with Bi-Level Action Decomposition

シェア:XThreadsFacebookLINEはてブBluesky

言語指示に運動学的属性(方向、軌道、姿勢、相対変位など)を細かく組み込んだ新しいVLAタスクを提案し、目標の不変性と運動学的可変性を分離する二段階行動表現と推論トークンを持つKineVLAフレームワークを導入した。シミュレーションと実機で精度・制御性・汎化性が向上することを示した。

詳しい要約

1. どんなもの?

- 言語指示が方向・軌道・姿勢・相対変位などの運動学的属性を開始から完了まで密に符号化する、新しい kinematics-rich VLA タスクを提示。 - タスク目標は不変だが実行軌道は指示レベルの運動学仕様に適応する必要がある。 - この課題に対し、目標レベルの不変性と運動学レベルの可変性を明示的に分離する VLA フレームワーク KineVLA を提案。 - 二層行動表現と二層推論トークンを用い、言語と行動を整合させる教師あり中間変数とする。 - シミュレーションと実機の両方にわたる運動学対応 VLA データセットを構築。

2. 先行研究と比べてどこがすごい?

- 既存の action instructions は運動学を粗く部分的にしか捉えないが、本タスクは指示レベルで多様な運動学的属性を密に符号化。 - これにより fine-grained で personalized な manipulation を支援。 - KineVLA は目標不変性と運動学可変性を明示的に分離する点で先行 VLA と異なる。 - LIBERO と Realman-75 で強い VLA ベースラインを一貫して上回り、より正確・制御可能・汎化可能な manipulation を実現。

3. 技術・手法の肝は?

- 二層行動表現 (bi-level action representation) と二層推論トークン (bi-level reasoning tokens) を導入。 - これらを明示的・教師ありの中間変数として用い、言語と行動を整合。 - 目標レベルの不変性と運動学レベルの可変性を明示的に分離。 - 指示レベルの運動学変動と二層注釈を持つデータセットを構築。

4. どうやって有効だと検証した?

- LIBERO と Realman-75 ロボット上で広範な実験を実施。 - 運動学に敏感なベンチマークで KineVLA が強い VLA ベースラインを一貫して上回ることを示す。 - より正確・制御可能・汎化可能な manipulation 挙動を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- LIBERO - Realman-75 - 既存の VLA ベースライン (具体的名称は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gaoge Han, Zhengqing Gao, Ziwen Li, Jiaxin Huang, Shaoli Huang, Fakhri Karray, Mingming Gong, Tongliang Liu

分類: cs.RO, cs.AI

原文アブストラクト

In this paper, we introduce a novel kinematics-rich vision-language-action (VLA) task, in which language commands densely encode diverse kinematic attributes (such as direction, trajectory, orientation, and relative displacement) from initiation through completion, at key moments, unlike existing action instructions that capture kinematics only coarsely or partially, thereby supporting fine-grained and personalized manipulation. In this setting, where task goals remain invariant while execution trajectories must adapt to instruction-level kinematic specifications. To address this challenge, we propose KineVLA, a vision-language-action framework that explicitly decouples goal-level invariance from kinematics-level variability through a bi-level action representation and bi-level reasoning tokens to serve as explicit, supervised intermediate variables that align language and action. To support this task, we construct the kinematics-aware VLA datasets spanning both simulation and real-world robotic platforms, featuring instruction-level kinematic variations and bi-level annotations. Extensive experiments on LIBERO and a Realman-75 robot demonstrate that KineVLA consistently outperforms strong VLA baselines on kinematics-sensitive benchmarks, achieving more precise, controllable, and generalizable manipulation behaviors.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI