日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.18933

指し示す場所を意図せよ:視覚的根拠に基づく指示ポリシー

Point What You Mean: Visually Grounded Instruction Policy

シェア:XThreadsFacebookLINEはてブBluesky

言語指示にバウンディングボックスなどの視覚的手がかりを追加することで、混雑環境や未知物体でも対象を正確に特定できるVLAポリシー「Point-VLA」を提案し、自動データ注釈パイプラインで効率的に学習した。

詳しい要約

1. どんなもの?

- 本研究は、Vision-Language-Action (VLA) モデルに対する plug-and-play なポリシー「Point-VLA」を提案するもの。 - 言語指示に加えて bounding boxes などの明示的な視覚的手がかりを入力し、指示対象の曖昧性を解消する。 - 混雑したシーンや out-of-distribution (OOD) シーンでの物体参照能力の向上を狙う。 - 視覚的に grounded なデータセットを効率的に拡張するための自動データアノテーションパイプラインも開発。

2. 先行研究と比べてどこがすごい?

- 従来の VLA モデルは text prompt のみに依存するため、物体参照能力が限定的で、混雑シーンや OOD シーンで曖昧さが生じる。 - Point-VLA は明示的な視覚的手がかり(bounding boxes 等)を付加することで、object-level grounding を精密化する点が異なる。 - text-only instruction の VLA と比較して、混雑シーンや未見物体のシナリオで一貫して高い性能と頑健な汎化を示す。 - plug-and-play で適用可能な点も先行手法との差分として挙げられる。

3. 技術・手法の肝は?

- 言語指示に視覚的手がかり(bounding boxes 等)を付加して VLA に入力する plug-and-play ポリシー。 - これにより pixel-level の visual grounding を実現し、指示対象の曖昧性を解消する。 - 視覚的に grounded なデータセットをスケールさせるため、人手を最小限に抑えた自動データアノテーションパイプラインを構築。 - 具体的なモデルアーキテクチャや学習手順の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 多様な実世界の referring tasks で評価を実施。 - text-only instruction の VLA と比較し、一貫して強い性能を確認。 - 特に混雑シーンや未見物体(unseen-object)のシナリオで有効性を確認。 - 頑健な汎化(robust generalization)が示されたと報告。 - 定量的な評価指標やデータセット名の詳細は要旨からは不明。

5. 議論はある?

- 結果は、pixel-level の visual grounding により物体参照の曖昧性を効果的に解消し、より汎化可能な embodied control を実現できることを示唆。 - 混雑シーンや OOD シーンでの有効性が議論の中心。 - 自動アノテーションの品質や限界、plug-and-play 適用時の制約については要旨からは不明。 - 失敗事例や計算コストに関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) モデル、text-only instruction の VLA、visual grounding を用いる embodied control 研究が挙げられる。 - 同分野の定番として RT-1/RT-2 系の VLA、OpenVLA、vision-language grounding 関連の研究を次に読む候補として検討。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hang Yu, Juntu Zhao, Yufeng Liu, Kaiyu Li, Cheng Ma, Di Zhang, Yingdong Hu, Guang Chen, Junyuan Xie, Junliang Guo, Junqiao Zhao, Yang Gao

分類: cs.CV, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models align vision and language with embodied control, but their object referring ability remains limited when relying solely on text prompt, especially in cluttered or out-of-distribution (OOD) scenes. In this study, we introduce the Point-VLA, a plug-and-play policy that augments language instructions with explicit visual cues (e.g., bounding boxes) to resolve referential ambiguity and enable precise object-level grounding. To efficiently scale visually grounded datasets, we further develop an automatic data annotation pipeline requiring minimal human effort. We evaluate Point-VLA on diverse real-world referring tasks and observe consistently stronger performance than text-only instruction VLAs, particularly in cluttered or unseen-object scenarios, with robust generalization. These results demonstrate that Point-VLA effectively resolves object referring ambiguity through pixel-level visual grounding, achieving more generalizable embodied control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI