日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視聴覚探索arXiv:2602.02790

人間の視聴覚探索行動のシミュレーション

Simulating Human Audiovisual Search Behavior

シェア:XThreadsFacebookLINEはてブBluesky

人間が聴覚と視覚の手がかりを使って効率的に目標を探す行動を、リソース合理的な意思決定モデルで再現し、人間データで検証した研究。

詳しい要約

1. どんなもの?

- 本論文は、聴覚と視覚の手がかりを用いた探索行動を計算モデル化した「Sensonaut」を提案する。 - 身体と感覚系を効率的に使ってターゲットを見つける人間の適応的な探索を、部分観測下の資源合理的な意思決定問題として定式化する。 - 混雑した駐車場での車探しやバーチャル会議での発言者特定など、聴覚と視覚を統合した探索を対象とする。

2. 先行研究と比べてどこがすごい?

- 既存の聴覚視覚探索モデルは知覚と行動を分離して扱い、人間がどのように動きと感覚戦略を適応的に調整するかを見落としていた。 - 本研究は身体と感覚系の配分を資源合理的に選択する枠組みを導入し、時間・努力・精度のトレードオフを明示的に扱う点が新しい。 - 部分観測下での意思決定として定式化することで、人間の適応的な探索時間や努力の変化を再現できる。

3. 技術・手法の肝は?

- 部分観測マルコフ決定過程(POMDP)に基づく資源合理的な意思決定モデルとして定式化。 - 知覚的制約の下で、ターゲット発見確率を最も効率的に高めると信じるように身体と感覚系を配分する。 - 時間と努力のコストを考慮し、探索行動を最適化する。

4. どうやって有効だと検証した?

- 新たに収集した人間のデータとモデルを比較検証した。 - タスク複雑性、遮蔽、妨害の下で、探索時間と努力の適応的スケーリングを再現した。 - 人間に特徴的なエラーも再現した。

5. 議論はある?

- 人間らしい資源合理的探索のシミュレーションは、聴覚視覚インターフェースの設計において探索コストと認知負荷を最小化するのに役立つ。 - 具体的な限界や議論については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として、資源合理的モデル(resource-rational model)、部分観測マルコフ決定過程(POMDP)、聴覚視覚探索(audiovisual search)の定番研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hyunsung Cho, Xuejing Luo, Byungjoo Lee, David Lindlbauer, Antti Oulasvirta

分類: cs.HC, cs.AI, cs.RO

原文アブストラクト

Locating a target based on auditory and visual cues$\unicode{x2013}$such as finding a car in a crowded parking lot or identifying a speaker in a virtual meeting$\unicode{x2013}$requires balancing effort, time, and accuracy under uncertainty. Existing models of audiovisual search often treat perception and action in isolation, overlooking how people adaptively coordinate movement and sensory strategies. We present Sensonaut, a computational model of embodied audiovisual search. The core assumption is that people deploy their body and sensory systems in ways they believe will most efficiently improve their chances of locating a target, trading off time and effort under perceptual constraints. Our model formulates this as a resource-rational decision-making problem under partial observability. We validate the model against newly collected human data, showing that it reproduces both adaptive scaling of search time and effort under task complexity, occlusion, and distraction, and characteristic human errors. Our simulation of human-like resource-rational search informs the design of audiovisual interfaces that minimize search cost and cognitive load.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI