日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

位置予測/VLMarXiv:2507.18661

目を閉じる前に:視覚地図フィードバックによる強化学習を用いた次GPS位置予測モデル

Eyes Will Shut: A Vision-Based Next GPS Location Prediction Model by Reinforcement Learning from Visual Map Feed Back

シェア:XThreadsFacebookLINEはてブBluesky

道路網と軌跡を画像化し、視覚言語モデルに強化学習を適用して人間のように地図を推論する次地点予測手法を提案した論文。

詳しい要約

1. どんなもの?

- 次GPS位置予測(Next Location Prediction)の新手法 - 道路ネットワークと軌跡を画像に描画し、Vision-Language Models(VLMs)に人間のように視覚推論させる - まず汎用VLMの能力を調べるVision-Guided Location Search(VGLS)を提案 - その知見を基に2段階構成のVLMLocPredictorを提案 - 対象は人移動データの次位置予測で、交通計画・都市治理・疫学予測に応用可能

2. 先行研究と比べてどこがすごい?

- 既存の次位置予測モデルの大半は地図を人間のように推論しない - 本研究は地図画像上の視覚推論という新規パラダイムを導入 - 汎用VLMをそのまま使うVGLSではなく、SFTと強化学習で特化させる点が新しい - 4都市データセットでSOTA性能を達成 - 他のLLMベース手法より都市間汎化(cross-city generalization)に優れると報告

3. 技術・手法の肝は?

- 道路ネットワークと軌跡を画像にレンダリングしVLMへ入力 - 第1段階:2つのSupervised Fine-Tuning(SFT)タスクで道路構造・軌跡構造の理解と基礎推論能力を獲得 - 第2段階:Reinforcement Learning from Visual Map Feedbackを導入 - 環境との相互作用を通じて次位置予測能力を自己改善 - VGLSは内部パラメータを変更せず汎用VLMの軌跡推論能力を評価する手法

4. どうやって有効だと検証した?

- 4つの異なる都市のデータセットで実験 - 提案手法がSOTA性能を達成したと報告 - 他のLLMベース手法と比較し、cross-city generalizationが優れることを示した - VGLSにより汎用VLMの軌跡推論能力を事前に評価 - 具体的なデータセット名・評価指標・比較手法の詳細は要旨からは不明

5. 議論はある?

- 人間が地図を可視化して道路接続性と移動傾向で推論する点に着想 - VLMの視覚知覚・視覚推論能力の活用可能性を議論 - 汎用VLMのみでは不十分でSFTと強化学習が必要という知見 - 限界・失敗事例・計算コスト・倫理面の議論は要旨からは不明

6. 次に読むべき論文は?

- Vision-Guided Location Search(VGLS) - Vision-Language Models(VLMs)関連研究 - Supervised Fine-Tuning(SFT) - Reinforcement Learning from Visual Map Feedback - 比較対象のLLMベース次位置予測手法(具体名は要旨からは不明) - 同分野の定番としてRNN/LSTMベースやGraph Neural NetworkベースのNext Location Prediction研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruixing Zhang, Yang Zhang, Tongyu Zhu, Leilei Sun, Weifeng Lv

分類: cs.CV, cs.RO

原文アブストラクト

Next Location Prediction is a fundamental task in the study of human mobility, with wide-ranging applications in transportation planning, urban governance, and epidemic forecasting. In practice, when humans attempt to predict the next location in a trajectory, they often visualize the trajectory on a map and reason based on road connectivity and movement trends. However, the vast majority of existing next-location prediction models do not reason over maps \textbf{in the way that humans do}. Fortunately, the recent development of Vision-Language Models (VLMs) has demonstrated strong capabilities in visual perception and even visual reasoning. This opens up a new possibility: by rendering both the road network and trajectory onto an image and leveraging the reasoning abilities of VLMs, we can enable models to perform trajectory inference in a human-like manner. To explore this idea, we first propose a method called Vision-Guided Location Search (VGLS), which evaluates whether a general-purpose VLM is capable of trajectory-based reasoning without modifying any of its internal parameters. Based on insights from the VGLS results, we further propose our main approach: VLMLocPredictor, which is composed of two stages: In the first stage, we design two Supervised Fine-Tuning (SFT) tasks that help the VLM understand road network and trajectory structures and acquire basic reasoning ability on such visual inputs. In the second stage, we introduce Reinforcement Learning from Visual Map Feedback, enabling the model to self-improve its next-location prediction ability through interaction with the environment. Experiments conducted on datasets from four different cities show that our method achieves state-of-the-art (SOTA) performance and exhibits superior cross-city generalization compared to other LLM-based approaches.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI