日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作検索arXiv:2508.00589

自動運転のためのオープンボキャブラリ手法による文脈ベース動作検索

Context-based Motion Retrieval using Open Vocabulary Methods for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

SMPL動作と映像を言語と共通埋め込み空間で結び、テキストクエリで自動運転データセット中の稀な歩行者行動を検索する枠組みを提案し、Waymo拡張データセットWayMoCoで最大27.5%の精度向上を達成した。

詳しい要約

1. どんなもの?

- 自動運転の安全性評価に向け、Vulnerable Road Users (VRUs) の稀で複雑な行動をテキストクエリで検索する context-aware motion retrieval framework - Skinned Multi-Person Linear (SMPL) ベースの motion sequences と対応する video frames を統合し、自然言語と整合する shared multimodal embedding space に符号化 - Waymo Open Dataset を拡張した WayMoCo データセットを導入 - 生成された pseudo-ground-truth SMPL sequences と画像データから、motion および scene context の記述を自動ラベリング

2. 先行研究と比べてどこがすごい?

- 大規模データセットの long tail に埋もれた稀な人間行動シナリオの検索が課題であると位置づけ - 提案手法は motion と context を統合した自然言語クエリによるスケーラブルな検索を可能にする - WayMoCo 上での motion-context retrieval 評価で、state-of-the-art モデルを最大 27.5% の accuracy で上回る - 具体的な比較対象モデル名は要旨からは不明

3. 技術・手法の肝は?

- SMPL ベースの motion sequences と対応する video frames を組み合わせて入力とする - それらを自然言語と整合する shared multimodal embedding space に符号化 - テキストクエリにより人間行動とその context を検索 - WayMoCo では生成された pseudo-ground-truth SMPL sequences と画像データから motion・scene context 記述を自動ラベリング - 個々の encoder 構成や損失関数の詳細は要旨からは不明

4. どうやって有効だと検証した?

- WayMoCo データセット上で motion-context retrieval を評価 - state-of-the-art モデルと比較し、最大 27.5% の accuracy 向上を報告 - 評価プロトコルや指標の詳細は要旨からは不明

5. 議論はある?

- 稀な VRU 行動の検索により、安全クリティカルなシナリオでの自動運転システムの評価・汎化に資することを主張 - WayMoCo のラベルは生成された pseudo-ground-truth SMPL sequences に由来し、その品質や限界に関する議論は要旨からは不明 - 実運用での検索精度やデータセットの偏りについては要旨からは不明

6. 次に読むべき論文は?

- Waymo Open Dataset(WayMoCo の拡張元) - Skinned Multi-Person Linear (SMPL) を用いた motion 表現・生成に関する研究 - 自然言語と視覚・動作を結ぶ multimodal embedding / open-vocabulary retrieval の代表的手法(例: CLIP 系の vision-language モデル) - 自動運転における long-tail / edge case 検索や VRU 行動認識の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Stefan Englmeier, Max A. Büttner, Katharina Winter, Fabian B. Flohr

分類: cs.CV, cs.CL, cs.IR, cs.RO

原文アブストラクト

Autonomous driving systems must operate reliably in safety-critical scenarios, particularly those involving unusual or complex behavior by Vulnerable Road Users (VRUs). Identifying these edge cases in driving datasets is essential for robust evaluation and generalization, but retrieving such rare human behavior scenarios within the long tail of large-scale datasets is challenging. To support targeted evaluation of autonomous driving systems in diverse, human-centered scenarios, we propose a novel context-aware motion retrieval framework. Our method combines Skinned Multi-Person Linear (SMPL)-based motion sequences and corresponding video frames before encoding them into a shared multimodal embedding space aligned with natural language. Our approach enables the scalable retrieval of human behavior and their context through text queries. This work also introduces our dataset WayMoCo, an extension of the Waymo Open Dataset. It contains automatically labeled motion and scene context descriptions derived from generated pseudo-ground-truth SMPL sequences and corresponding image data. Our approach outperforms state-of-the-art models by up to 27.5% accuracy in motion-context retrieval, when evaluated on the WayMoCo dataset.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI