日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

HRIarXiv:2505.20711

LLMによる自動運転車のeHMI動作設計の自動化

Automating eHMI Action Design with LLMs for Automated Vehicle Communication

シェア:XThreadsFacebookLINEはてブBluesky

LLMを動作設計者として用い、自動運転車の外部コミュニケーション用eHMIのメッセージに対応する動作を自動生成するパイプラインを提案し、その有効性を評価した。

詳しい要約

1. どんなもの?

- 自動運転車(AV)と他道路利用者間の明示的コミュニケーション不足を補う external Human-Machine Interface (eHMI) のための、メッセージからアクションへの設計を自動化する研究。 - LLM を action designer として用い、eHMI を制御する実行可能なアクション生成とレンダリングを行うパイプラインを提案。 - 8種類の intended message と4つの代表的な eHMI modality に対し、計320の action sequence からなるユーザ評価付き Action-Design Scoring dataset を収集。 - 2つの自動評価器 Action Reference Score (ARS) と Vision-Language Models (VLMs) を導入し、18個の LLM をベンチマーク。

2. 先行研究と比べてどこがすごい?

- 従来の eHMI 研究は predefined text messages と手動設計のアクションに依存しており、動的シナリオでの適応性に限界があった。 - 本研究は LLM の汎化性・多用途性に着目し、LLM を自動 action designer として活用する点が新しい。 - 事前定義に頼らず intended message からアクションを生成するパイプラインを構築し、人間レベルのアクション生成に近いことをデータセットで示した。 - さらに ARS と VLMs という自動評価器で18 LLM を比較するベンチマークを初めて(要旨の範囲で)提示。

3. 技術・手法の肝は?

- LLM と 3D renderer を統合したパイプラインを提案。LLM が action designer として eHMI 制御用の実行可能アクションを生成し、action clip をレンダリング。 - 8つの intended message と4つの eHMI modality を対象に、320 action sequence のユーザ評価付き Action-Design Scoring dataset を構築。 - 自動評価器として Action Reference Score (ARS) と Vision-Language Models (VLMs) を導入。 - 18個の LLM をこれら評価器でベンチマークし、VLM 評価が人間の選好と整合するか、modality 間での変動を分析。

4. どうやって有効だと検証した?

- ユーザ評価付き Action-Design Scoring dataset (320 action sequence、8 intended message、4 eHMI modality) を収集し、LLM が intended message を人間レベルに近いアクションへ変換できることを検証。 - 特に reasoning-enabled LLMs でその傾向を確認。 - ARS と VLMs の2つの自動評価器で18 LLM をベンチマークし、VLM が人間の選好と整合することを確認。 - ただし VLM の評価は eHMI modality によって変動することが判明。

5. 議論はある?

- VLM は人間の選好と整合するものの、eHMI modality 間で評価が変動する点が議論の対象。 - reasoning-enabled LLMs がより人間に近いアクション生成を示す一方、LLM による自動設計の実世界展開に向けた汎化性・評価妥当性には検討余地。 - 要旨からは不明: 具体的な失敗事例、安全性・倫理面、計算コスト、実車での検証に関する議論は明示されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: predefined text messages と手動設計アクションを用いる従来 eHMI 研究、reasoning-enabled LLMs、Vision-Language Models (VLMs)、Action Reference Score (ARS)。 - 関連手法として external Human-Machine Interface (eHMI)、3D renderer を用いた action clip rendering、LLM を action designer とするパイプライン。 - 同分野の定番として、AV と歩行者の相互作用を扱う eHMI のユーザスタディや、LLM を用いたロボット/エージェントの行動生成に関する研究を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ding Xia, Xinyue Gui, Fan Gao, Dongyuan Li, Mark Colley, Takeo Igarashi

分類: cs.HC, cs.RO

原文アブストラクト

The absence of explicit communication channels between automated vehicles (AVs) and other road users requires the use of external Human-Machine Interfaces (eHMIs) to convey messages effectively in uncertain scenarios. Currently, most eHMI studies employ predefined text messages and manually designed actions to perform these messages, which limits the real-world deployment of eHMIs, where adaptability in dynamic scenarios is essential. Given the generalizability and versatility of large language models (LLMs), they could potentially serve as automated action designers for the message-action design task. To validate this idea, we make three contributions: (1) We propose a pipeline that integrates LLMs and 3D renderers, using LLMs as action designers to generate executable actions for controlling eHMIs and rendering action clips. (2) We collect a user-rated Action-Design Scoring dataset comprising a total of 320 action sequences for eight intended messages and four representative eHMI modalities. The dataset validates that LLMs can translate intended messages into actions close to a human level, particularly for reasoning-enabled LLMs. (3) We introduce two automated raters, Action Reference Score (ARS) and Vision-Language Models (VLMs), to benchmark 18 LLMs, finding that the VLM aligns with human preferences yet varies across eHMI modalities.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI