対話型VR実験に基づくメンタルローテーションの深層学習モデル
A Deep Learning Model of Mental Rotation Informed by Interactive VR Experiments
VR実験のデータを参考に、等変ニューラルエンコーダ・神経記号的エンコーダ・神経決定エージェントを組み合わせて人間のメンタルローテーションをモデル化し、行動・反応時間を再現した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Raymond Khazoum, Daniela Fernandes, Aleksandr Krylov, Qin Li, Stephane Deny
分類: q-bio.NC, cs.LG
原文アブストラクト
Mental rotation -- the ability to compare objects seen from different viewpoints -- is a fundamental example of mental simulation and spatial world modeling in humans. Here we propose a mechanistic model of human mental rotation, leveraging recent advances in deep, equivariant, and neuro-symbolic learning. Our model consists of three stacked components: (1) an equivariant neural encoder, producing 3D spatial representations of objects from images, (2) a neuro-symbolic object encoder, deriving symbolic objects descriptions from these spatial representations, and (3) a neural decision agent, comparing these symbolic descriptions to prescribe rotation simulations in 3D latent space via a recurrent pathway. Our model design is guided by the existing experimental literature on mental rotation, which we complemented with experiments in VR where participants could at times manipulate the objects to compare. Our model captures well the performance, response times and behavior of participants in our and others' experiments, and through ablation studies we demonstrate the necessity of each component. Our work adds to a recent collection of deep neural models of human spatial reasoning, further demonstrating the potency of integrating deep, equivariant, and symbolic representations to model the human mind.
関連論文
- 能動的センシングが動的な証拠蓄積を通じて実世界の意思決定を形作る認知モデリング
- 認知の形：計算論的認知モデリングの新パラダイム認知モデリング
- 能動的推論による人間の衝突回避行動の統一モデル認知モデリング
- 効用理論に基づく認知モデリングのロボティクス応用：サーベイ認知モデリング
- 過去を想像して未来を推論する認知モデリング
- 自由エネルギー原理に基づく感覚減衰の創発認知モデリング
