日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.11093

視覚言語モデルを行動モデルとして用いた意図認識と支援

Utilizing Vision-Language Models as Action Models for Intent Recognition and Assistance

シェア:XThreadsFacebookLINEはてブBluesky

VLMとLLMを組み合わせて人間の指示から対象物や場所を絞り込み、ロボットが意図を素早く推論してナビゲーションやマニピュレーションを支援するフレームワークを提案した。

詳しい要約

1. どんなもの?

- 人間とロボットの協働のためのフレームワーク - 既存の GUIDER を拡張したもの - ナビゲーションとマニピュレーションの intent 推論を行う - VLM と text-only LLM を組み合わせた semantic prior を導入 - ミッションプロンプトに基づき物体や場所をフィルタリング - ロボットがユーザ意図を素早く推論し、透明な推論と支援を目指す

2. 先行研究と比べてどこがすごい?

- 先行研究との具体的比較は要旨からは不明 - 既存の GUIDER に対し VLM と text-only LLM による semantic prior を追加 - 物体・場所の候補をプロンプトに応じてスコアリングし重み付け - 検出ラベルを LLM でランキングする点が特徴 - 従来の navigation/manipulation 層に文脈情報を統合

3. 技術・手法の肝は?

- vision pipeline で候補物体を抽出 - YOLO による object detection - Segment Anything Model による instance segmentation - 物体 crop を VLM に入力し、operator prompt に対する関連度をスコア化 - 検出物体ラベル一覧を text-only LLM でランキング - これらのスコアで GUIDER の navigation/manipulation 層を重み付け - 文脈関連ターゲットを選択し無関係物体を抑制 - 統合 belief が閾値を超えると autonomy を変更 - 目的エリアへの移動や物体取得を実行

4. どうやって有効だと検証した?

- 要旨からは不明 - 今後の予定として Isaac Sim 上で Franka Emika arm と Ridgeback base を用いた評価を計画 - real-time assistance に焦点

5. 議論はある?

- 要旨からは不明 - 今後の課題として Isaac Sim での評価と real-time assistance への注力が言及 - operator の意図変化への適応が設計に含まれる

6. 次に読むべき論文は?

- GUIDER(既存フレームワーク、本研究の基盤) - YOLO(object detection) - Segment Anything Model(instance segmentation) - Vision-Language Model / text-only LLM を用いた semantic prior 関連研究 - Isaac Sim / Franka Emika arm / Ridgeback base を用いた評価研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Cesar Alan Contreras, Manolis Chiou, Alireza Rastegarpanah, Michal Szulik, Rustam Stolkin

分類: cs.RO, cs.AI, cs.HC

原文アブストラクト

Human-robot collaboration requires robots to quickly infer user intent, provide transparent reasoning, and assist users in achieving their goals. Our recent work introduced GUIDER, our framework for inferring navigation and manipulation intents. We propose augmenting GUIDER with a vision-language model (VLM) and a text-only language model (LLM) to form a semantic prior that filters objects and locations based on the mission prompt. A vision pipeline (YOLO for object detection and the Segment Anything Model for instance segmentation) feeds candidate object crops into the VLM, which scores their relevance given an operator prompt; in addition, the list of detected object labels is ranked by a text-only LLM. These scores weight the existing navigation and manipulation layers of GUIDER, selecting context-relevant targets while suppressing unrelated objects. Once the combined belief exceeds a threshold, autonomy changes occur, enabling the robot to navigate to the desired area and retrieve the desired object, while adapting to any changes in the operator's intent. Future work will evaluate the system on Isaac Sim using a Franka Emika arm on a Ridgeback base, with a focus on real-time assistance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI