日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2510.10451

未知のダイナミクスを持つ多動物行動のデータ駆動型シミュレータ:オフライン・オンライン強化学習による実現

Data-driven simulator of multi-animal behavior with unknown dynamics via offline and online reinforcement learning

シェア:XThreadsFacebookLINEはてブBluesky

深層強化学習と反実仮想シミュレーションを用いて、未知の運動ダイナミクスを持つ多動物の行動を再現・予測するデータ駆動型シミュレータを構築した。

詳しい要約

1. どんなもの?

- 複数動物の行動を再現・生成するデータ駆動型シミュレータ - deep reinforcement learning と counterfactual simulation に基づく - 未知の遷移モデル(real-world transition model)を扱える点が特徴 - 対象は人工エージェント、flies、newts、silkmoth - 種特異的行動の再現と reward-driven optimization の両立を目指す

2. 先行研究と比べてどこがすごい?

- 従来の imitation learning や標準的 RL 手法と比較して評価 - 種特異的行動の再現性が高い - reward acquisition が改善 - 数理モデル依存では不足する未知の locomotion dynamics に対処 - cyber と physical の状態比較を可能にする枠組みを提示 - 新規実験設定での counterfactual behavior prediction を実現

3. 技術・手法の肝は?

- deep reinforcement learning を基盤とする - 不完全な transition model の movement variables を actions として推定 - 高自由度 locomotion による ill-posed 問題を緩和 - distance-based pseudo-reward で cyber/physical 間の状態を整合・比較 - counterfactual simulation を組み合わせる - 複数個体モデリングにより what-if 軌道生成を支援

4. どうやって有効だと検証した?

- artificial agents、flies、newts、silkmoth で検証 - 標準的な imitation 手法および RL 手法と比較 - 種特異的行動の再現性を評価 - reward acquisition の改善を確認 - 新規実験設定での counterfactual behavior prediction を実証 - 複数個体の what-if 軌道生成を確認

5. 議論はある?

- 未知の real-world transition model とシミュレータのギャップが中心的課題 - locomotion dynamics が未知であるため数理モデルだけでは不十分 - 高自由度に起因する ill-posed 性への対処が論点 - pseudo-reward による cyber/physical の整合性の扱いが議論点 - 複数動物行動のシミュレーションと解明への可能性を示唆 - 具体的な限界や失敗事例は要旨からは不明

6. 次に読むべき論文は?

- imitation learning for robotics の関連研究 - deep reinforcement learning の標準手法 - counterfactual simulation に関する研究 - 動物行動の数理モデル/transition model 推定の研究 - multi-animal behavior modeling の関連研究 - 要旨で直接参照される個別論文名は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Keisuke Fujii, Kazushi Tsutsui, Yu Teshima, Makoto Itoh, Naoya Takeishi, Nozomi Nishiumi, Ryoya Tanaka, Shunsuke Shigaki, Yoshinobu Kawahara

分類: cs.LG, cs.AI

原文アブストラクト

Simulators of animal movements play a valuable role in studying behavior. Advances in imitation learning for robotics have expanded possibilities for reproducing human and animal movements. A key challenge for realistic multi-animal simulation in biology is bridging the gap between unknown real-world transition models and their simulated counterparts. Because locomotion dynamics are seldom known, relying solely on mathematical models is insufficient; constructing a simulator that both reproduces real trajectories and supports reward-driven optimization remains an open problem. We introduce a data-driven simulator for multi-animal behavior based on deep reinforcement learning and counterfactual simulation. We address the ill-posed nature of the problem caused by high degrees of freedom in locomotion by estimating movement variables of an incomplete transition model as actions within an RL framework. We also employ a distance-based pseudo-reward to align and compare states between cyber and physical spaces. Validated on artificial agents, flies, newts, and silkmoth, our approach achieves higher reproducibility of species-specific behaviors and improved reward acquisition compared with standard imitation and RL methods. Moreover, it enables counterfactual behavior prediction in novel experimental settings and supports multi-individual modeling for flexible what-if trajectory generation, suggesting its potential to simulate and elucidate complex multi-animal behaviors.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI