日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.18319

タスク特化型視覚言語制御のための弱教師あり潜在モデル

Weakly-supervised Latent Models for Task-specific Visual-Language Control

シェア:XThreadsFacebookLINEはてブBluesky

目標状態の教師信号のみから共有潜在空間における行動による状態変化を学習するタスク特化型潜在ダイナミクスモデルを提案し、ドローンの空間的グラウンディングタスクで成功率を58%から71%に改善した。

詳しい要約

1. どんなもの?

- 危険環境での自律検査を想定した、視覚言語によるタスク特化型制御の研究。 - 高レベル目標の解釈と精密制御のため、検出物体をカメラ視野中心に合わせる spatial grounding に焦点。 - 大規模言語モデルを直接視覚制御に用いる手法の成功率58%に対し、タスク特化型 latent dynamics model を提案し71%を達成。 - 共有 latent space 上で状態依存の action-induced shifts を目標状態監督のみから学習。

2. 先行研究と比べてどこがすごい?

- 大規模言語モデルを直接視覚制御に用いる手法は58%成功にとどまる。 - 従来の world model はデータと計算コストが大きい。 - 提案手法はタスク特化型 latent dynamics model により、目標状態監督のみで学習し、コンパクトかつ低コストを狙う。 - 未見画像・指示への汎化を示し、空間アラインメントにおけるドメイン特化型モデルの可能性を提示。

3. 技術・手法の肝は?

- 共有 latent space において状態ごとの action-induced shifts を学習するタスク特化型 latent dynamics model。 - 学習には goal-state supervision のみを使用(弱教師あり)。 - global action embeddings を活用。 - 学習安定化のため complementary training losses を併用。 - エージェントが world model をツールとして候補行動を roll out できる枠組みを志向。

4. どうやって有効だと検証した?

- ドローンが検出物体をカメラ視野中心に合わせる spatial grounding タスクで評価。 - 提案手法は71%の成功率を達成(LLM直接制御は58%)。 - 未見の画像および指示への汎化を確認。 - 詳細な実験設定・データセット・ベースラインは要旨からは不明。

5. 議論はある?

- コンパクトなドメイン特化型 latent dynamics model が自律検査における空間アラインメントに有効である可能性を議論。 - 従来 world model のデータ・計算集約性への対処として弱教師あり学習の利点を示唆。 - 限界・失敗事例・計算コストの定量比較は要旨からは不明。

6. 次に読むべき論文は?

- 大規模言語モデルを直接視覚制御に用いる手法(本論文で比較対象)。 - 従来の world model(データ・計算集約的とされる一般手法)。 - latent dynamics model に関する関連研究(具体的名称は要旨からは不明)。 - spatial grounding / visual-language control 分野の定番手法(例:CLIP 系の視覚言語モデル、模倣学習ベースの制御)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xian Yeow Lee, Lasitha Vidyaratne, Gregory Sin, Ahmed Farahat, Chetan Gupta

分類: cs.AI, cs.LG, eess.SY

原文アブストラクト

Autonomous inspection in hazardous environments requires AI agents that can interpret high-level goals and execute precise control. A key capability for such agents is spatial grounding, for example when a drone must center a detected object in its camera view to enable reliable inspection. While large language models provide a natural interface for specifying goals, using them directly for visual control achieves only 58\% success in this task. We envision that equipping agents with a world model as a tool would allow them to roll out candidate actions and perform better in spatially grounded settings, but conventional world models are data and compute intensive. To address this, we propose a task-specific latent dynamics model that learns state-specific action-induced shifts in a shared latent space using only goal-state supervision. The model leverages global action embeddings and complementary training losses to stabilize learning. In experiments, our approach achieves 71\% success and generalizes to unseen images and instructions, highlighting the potential of compact, domain-specific latent dynamics models for spatial alignment in autonomous inspection.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI