日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.06655

Pelican-VLA 0.5: 行動前に注意を向けることで汎化を向上

Pelican-VLA 0.5: Attending Before Acting Benefits Generalization

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語理解、未来フレーム生成、行動予測を統合したVLAモデルを提案し、注意レベルの汎化を達成。ボトルネックトークンの導入により、未見のシーンやロボットでも操作対象に注意が向くことを示した。

詳しい要約

1. どんなもの?

Pelican-VLA 0.5は、視覚言語理解、将来フレーム生成、行動予測を単一アーキテクチャに統合した統一VLAモデルである。このモデルは、オブジェクト注釈、セグメンテーションマスク、注意監督、タスク固有のファインチューニングなしで、行動パスウェイが操作関連オブジェクトと接触領域に焦点を当てるという注意レベルの一般化を達成する。この挙動は、未見のシーンや未見のロボットのembodimentでも持続し、他のオープンソースVLAベースラインよりも大幅に強い。

2. 先行研究と比べてどこがすごい?

先行研究のVLAモデルは、一般化のためにオブジェクト注釈や注意監督などの追加の監督信号を必要とすることが多い。Pelican-VLA 0.5は、そのような監督なしで注意レベルの一般化を達成し、未見のシーンやembodimentでも操作関連オブジェクトに焦点を当てる。これは、他のオープンソースVLAベースラインと比較して、注意の焦点がはるかに強いことを示しており、追加の監督なしで一般化する能力が優れている。

3. 技術・手法の肝は?

技術の肝は、知覚と行動の間に挿入される学習可能なBottleneck Tokenである。このトークンは、タスク関連の視覚情報をコンパクトなボトルネックを通してルーティングすることで、事前学習中に操作中心の注意を誘導する。このトークンインターフェースは、MoTスタイルのアーキテクチャを含む異なるポリシー構造でも有効である。

4. どうやって有効だと検証した?

有効性は、未見のシーンと未見のロボットembodimentでの注意の焦点を評価することで検証された。Pelican-VLA 0.5の行動パスウェイが操作関連オブジェクトと接触領域に焦点を当てることを示し、その挙動が他のオープンソースVLAベースラインよりも大幅に強いことを確認した。また、Bottleneck Tokenの有無を比較することで、その起源を検証した。

5. 議論はある?

要旨からは、議論の詳細は不明である。ただし、注意レベルの一般化がBottleneck Tokenに由来することは示されたが、そのメカニズムの理論的な理解や、他のタスクや環境での限界については議論されていない可能性がある。また、モデルのスケールや計算コストに関する議論も要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は、MoTスタイルのアーキテクチャと他のオープンソースVLAベースラインである。次に読むべき論文としては、MoT(おそらく「Memory of Thoughts」または類似のアーキテクチャ)に関する論文や、VLAの一般化に関する他の研究が考えられる。具体的なタイトルは要旨からは不明である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zeyuan Ding, Wenhai Liu, Yang Xu, Jiayu Hu, Yinda Chen, Yi Zhang, Yong Dai, Jian Tang, Xiaozhu Ju

分類: cs.RO, cs.LG

原文アブストラクト

In this report, we present Pelican-VLA 0.5, a unified VLA model that integrates vision-language understanding, future-frame generation, and action prediction within a single architecture. Pelican-VLA 0.5 achieves attention-level generalization: without object annotations, segmentation masks, attention supervision, or task-specific fine-tuning, its action pathway already focuses on the manipulation-relevant object and contact region. This behavior persists across unseen scenes and unseen robot embodiments, and is substantially stronger than in other open-source VLA baselines. We verify that this ability originates from the learnable Bottleneck Token inserted between perception and action: by routing task-relevant visual information through a compact bottleneck, the tokens interface induces manipulation-centric attention during pre-training and remains effective across different policy structures, including a MoT-style architecture.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI