日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

因果推論・内発的報酬arXiv:2507.15106

キックから因果性へ:乳児の主体感検出をロバストな内発的報酬でシミュレートする

From Kicking to Causality: Simulating Infant Agency Detection with a Robust Intrinsic Reward

シェア:XThreadsFacebookLINEはてブBluesky

因果推論に基づく内発的報酬CAISを提案し、ノイズの多い環境でもエージェントが自身の行動の因果的影響を特定して学習できることを示した。

詳しい要約

1. どんなもの?

- 幼児の因果的効力感(agency detection)を計算論的に模倣する研究 - 強化学習エージェント向けの新規 intrinsic reward「Causal Action Influence Score (CAIS)」を提案 - 因果推論に基づき、行動が感覚結果に与える影響を定量化する枠組み - シミュレーション上の infant-mobile 環境で検証

2. 先行研究と比べてどこがすごい?

- 従来の強化学習は相関ベースの reward に依存し、ノイズや外部攪乱に脆い - 生態学的に妥当な noisy な状況では相関ベースの perceptual reward が完全に失敗 - CAIS は因果的影響を環境ノイズから分離でき、頑健に正しい policy を学習 - 幼児の agency 獲得を説明する心理学的に妥当な枠組みを提示

3. 技術・手法の肝は?

- CAIS は行動条件付き感覚結果分布 p(h|a) とベースライン分布 p(h) の 1-Wasserstein 距離で行動の影響を測る - この距離を intrinsic reward として用い、因果的影響のみを抽出 - CAIS 学習で得た高品質な予測モデルを surprise signal と組み合わせて利用 - 外部力が加わる infant-mobile 環境で評価

4. どうやって有効だと検証した?

- シミュレーションの infant-mobile 環境で、mobile に外部力が加わる設定を使用 - 相関ベースの perceptual reward は完全に失敗する条件で CAIS を検証 - CAIS がノイズを除去し自身の影響を同定、正しい policy を学習できることを確認 - surprise signal を付加すると「extinction burst」現象を再現できることを示す

5. 議論はある?

- 因果を明示的に推論することが頑健な sense of agency 獲得に重要と結論 - より適応的な自律システムへの心理学的に妥当な枠組みを提供 - ただし検証はシミュレーションの infant-mobile 環境に限定 - 実世界や他タスクへの一般化、限界については要旨からは不明

6. 次に読むべき論文は?

- 相関ベースの perceptual reward を用いる標準的な強化学習手法(比較対象) - intrinsic motivation に関する先行研究(curiosity-driven exploration 等の一般名) - surprise signal に基づく学習手法 - infant-mobile 環境における agency detection の心理学的モデル - 因果推論を用いた強化学習(causal reinforcement learning)関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xia Xu, Jochen Triesch

分類: cs.AI, cs.RO

原文アブストラクト

While human infants robustly discover their own causal efficacy, standard reinforcement learning agents remain brittle, as their reliance on correlation-based rewards fails in noisy, ecologically valid scenarios. To address this, we introduce the Causal Action Influence Score (CAIS), a novel intrinsic reward rooted in causal inference. CAIS quantifies an action's influence by measuring the 1-Wasserstein distance between the learned distribution of sensory outcomes conditional on that action, $p(h|a)$, and the baseline outcome distribution, $p(h)$. This divergence provides a robust reward that isolates the agent's causal impact from confounding environmental noise. We test our approach in a simulated infant-mobile environment where correlation-based perceptual rewards fail completely when the mobile is subjected to external forces. In stark contrast, CAIS enables the agent to filter this noise, identify its influence, and learn the correct policy. Furthermore, the high-quality predictive model learned for CAIS allows our agent, when augmented with a surprise signal, to successfully reproduce the "extinction burst" phenomenon. We conclude that explicitly inferring causality is a crucial mechanism for developing a robust sense of agency, offering a psychologically plausible framework for more adaptive autonomous systems.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI