日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2601.10905

Action Shapley:強化学習における世界モデルのための訓練データ選択指標

Action Shapley: A Training Data Selection Metric for World Model in Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

世界モデルの訓練データ選択にShapley値を応用した指標Action Shapleyを提案し、計算を効率化するランダム動的アルゴリズムで80%以上の高速化を実現、データ制約下の実世界5事例で有効性を示した。

詳しい要約

1. どんなもの?

- 強化学習におけるworld modelのための訓練データ選択指標「Action Shapley」を提案。 - 訓練データの品質がworld modelの有効性と解釈性に大きく影響する点に着目。 - データ制約のある実世界ケーススタディ5件で検証。

2. 先行研究と比べてどこがすごい?

- 従来のShapley値計算は指数関数的複雑性を持つが、ランダム化動的アルゴリズムで計算効率を80%以上改善。 - アドホックな訓練データ選択よりも一貫して優れた性能を発揮。 - 既存のデータ選択手法と比較して、より公平で偏りのない選択を実現。

3. 技術・手法の肝は?

- Action Shapleyは、world modelの訓練データ選択のための不可知論的指標。 - ランダム化動的アルゴリズムを導入し、従来の指数関数的計算量を削減。 - データ選択ポリシーにAction Shapleyを活用。

4. どうやって有効だと検証した?

- データ制約のある実世界ケーススタディ5件で経験的検証を実施。 - 計算効率が従来の指数関数的時間計算と比較して80%以上改善。 - Action Shapleyベースの訓練データ選択ポリシーがアドホック選択より一貫して優れることを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Shapley value、world model、offline reinforcement learning、model-based reinforcement learningに関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rajat Ghosh, Debojyoti Dutta

分類: cs.LG, stat.ME

原文アブストラクト

Numerous offline and model-based reinforcement learning systems incorporate world models to emulate the inherent environments. A world model is particularly important in scenarios where direct interactions with the real environment is costly, dangerous, or impractical. The efficacy and interpretability of such world models are notably contingent upon the quality of the underlying training data. In this context, we introduce Action Shapley as an agnostic metric for the judicious and unbiased selection of training data. To facilitate the computation of Action Shapley, we present a randomized dynamic algorithm specifically designed to mitigate the exponential complexity inherent in traditional Shapley value computations. Through empirical validation across five data-constrained real-world case studies, the algorithm demonstrates a computational efficiency improvement exceeding 80\% in comparison to conventional exponential time computations. Furthermore, our Action Shapley-based training data selection policy consistently outperforms ad-hoc training data selection.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI