日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/操作arXiv:2606.15021

アクショントークン介入による自己回帰型視覚言語行動ポリシーの操縦

Steering Autoregressive Vision-Language-Action Policies via Action Token Intervention

シェア:XThreadsFacebookLINEはてブBluesky

自己回帰型VLAモデルのアクショントークン空間に直接介入し、追加学習なしでユーザー入力を通じて軌道生成を動的に操縦する手法を提案。家庭内操作タスクで成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

- 自己回帰型 vision-language-action (VLA) モデルが生成する軌道を、action-token 空間への直接介入によって動的に操舵する Token Steering (TS) を提案。 - 低次元のユーザ入力(例:操作指示)をモデルのネイティブな action-token 表現に注入し、VLM アーキテクチャを変更せずに軌道生成に影響を与える。 - 推論時のみで動作し、追加の学習やファインチューニングを必要としない。 - ユーザ入力は事前学習済みポリシーを上書きするのではなくガイドし、VLA が学習した器用さ、滑らかさ、タスク事前知識を保持する。 - 家庭内操作タスク(物体配置後の引き出し閉め、状態認識物体交換)で評価。

2. 先行研究と比べてどこがすごい?

- 従来の VLA 操舵手法はモデルの再学習やファインチューニングを必要とすることが多いが、TS は推論時のみで動作し追加学習不要。 - ユーザ入力が事前学習済みポリシーを上書きせず、VLA の器用さや滑らかさ、タスク事前知識を保持できる点が優位。 - 低次元入力を action-token 空間に直接注入するアプローチは、VLM アーキテクチャを変更せずに操舵を可能にする点で新規。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は?

- 自己回帰型 VLA モデルの action-token 空間に直接介入する Token Steering (TS) を提案。 - 低次元のユーザ入力をモデルのネイティブな action-token 表現に注入し、軌道生成を操舵。 - 推論時のみで動作し、追加の学習やファインチューニングは不要。 - ユーザ入力は事前学習済みポリシーをガイドし、上書きしない。 - VLM アーキテクチャの変更は不要。

4. どうやって有効だと検証した?

- 2つの家庭内操作タスクで評価:物体配置後の引き出し閉め、状態認識物体交換。 - 成功率がそれぞれ 10.0% から 72.5%、16.7% から 93.8% に向上。 - プロジェクトウェブサイトで詳細を公開。

5. 議論はある?

- 軽量で直感的な操舵インターフェースにより、消費者環境での human-robot interaction の改善や、身体的制御が限られた人々のアクセシビリティ拡大の可能性。 - 具体的な限界や議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として vision-language-action (VLA) モデル、action-token 空間への介入、推論時操舵に関する研究が挙げられる。 - 同分野の定番として、RT-1、RT-2、PaLM-E などの VLA モデルや、プロンプトベースの操舵手法が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jason Chan, Jonathan C. Kao

分類: cs.RO

原文アブストラクト

We present Token Steering (TS), a method for dynamically steering trajectories generated by an autoregressive vision-language-action (VLA) model through direct intervention in the action-token space. TS injects low-dimensional user inputs into the model's native action-token representation, allowing users to influence trajectory generation without modifying the underlying vision-language model (VLM) architecture. Because TS operates entirely at inference time, it requires no additional training or finetuning. User inputs guide rather than override the pretrained policy, allowing users to influence robot actions while preserving the dexterity, smoothness, and task priors learned by the VLA. We evaluate TS on two household manipulation tasks -- drawer closing after object placement and state-aware object swapping -- and improve success rates from 10.0% to 72.5% and from 16.7% to 93.8%, respectively. By enabling lightweight, intuitive steering over robot foundation models, our interface has the potential to improve human-robot interaction in consumer environments and broaden accessibility for individuals with limited physical control. Project website: https://jasontchan.github.io/token-steering/ .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI