日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

報酬モデルarXiv:2606.01036

主張:優れた具現化報酬モデルには悪い行動データが必要

Position: Good Embodied Reward Models Need Bad Behavior Data

シェア:XThreadsFacebookLINEはてブBluesky

成功行動のみで訓練された具現化報酬モデルは、人間が評価すると罰するような危険・不完全な行動を過剰に報酬としてしまう。悪いロボットデータの不足が原因であり、悪いデータを少し加えるだけで人間の好みとの整合性が向上することを示し、悪いデータの収集・公開を提言する。

詳しい要約

1. どんなもの?

- 本論文は、embodied reward modelの信頼性向上には「bad」なロボットデータ(失敗、準最適、エラー、危険行動)への投資が必要だと主張するposition paperである。 - 現在のembodied reward modelは成功行動のみで訓練されることが多く、その結果、人間の評価者が罰するような行動(不安全な相互作用、拙い実行、タスクを表面的にしか満たさないshortcut戦略)を過大評価する問題を指摘する。 - この失敗の原因を、負のembodiedデータの不足(収集コストが高く、既存データセットでフィルタリング・非公開にされる)に帰属させる。 - さらに、少量の実際のbad behaviorデータでも人間の選好との整合性が改善し、コストのかかるfalse positiveを減らせることを示す。 - コミュニティに対し、bad robot dataのキュレーションと公開、合成bad data生成エンジンの構築、分散型物理評価システムの開発、細粒度embodied reward model評価のためのベンチマーク設計を呼びかける。

2. 先行研究と比べてどこがすごい?

- 先行研究ではembodied reward modelは主に成功行動データで訓練され、負のデータはほとんど活用されていない。 - 本論文は、3つの最先端embodied reward modelを分析し、それらが人間の評価者なら罰する行動(不安全、拙い実行、shortcut)を体系的に過大評価することを明らかにした点が新しい。 - この失敗を負のembodiedデータの不足というデータギャップに帰属し、その解決策としてbad dataの収集・公開・合成・評価ベンチマークを提案する点が先行研究と異なる。 - また、少量の実際のbad behaviorデータでも人間の選好との整合性が改善し、false positiveが減ることを示した点が貢献。

3. 技術・手法の肝は?

- 3つの最先端embodied reward modelを分析し、それらが人間の評価者なら罰する行動(不安全な相互作用、拙い実行、shortcut戦略)を体系的に過大評価することを特定。 - この失敗の原因を、負のembodiedデータの不足(収集コストが高く、既存データセットでフィルタリング・非公開にされる)に帰属。 - 少量の実際のbad behaviorデータに曝露することで、人間の選好との整合性が改善し、false positiveが減少することを示す。 - 具体的な手法の詳細(モデル名、データセット、評価指標など)は要旨からは不明。

4. どうやって有効だと検証した?

- 3つの最先端embodied reward modelを分析し、人間の評価者なら罰する行動を過大評価することを実証。 - 少量の実際のbad behaviorデータに曝露することで、人間の選好との整合性が改善し、false positiveが減少することを示した。 - 具体的な実験設定、データセット、評価指標、統計的検証の詳細は要旨からは不明。

5. 議論はある?

- 本論文はposition paperであり、embodied reward modelの信頼性向上にはbad robot dataへの投資が不可欠だと主張。 - 負のembodiedデータの不足が問題の根源であり、収集コストが高く、既存データセットでフィルタリング・非公開にされることを指摘。 - コミュニティに対し、bad robot dataのキュレーションと公開、合成bad data生成エンジンの構築、分散型物理評価システムの開発、細粒度embodied reward model評価のためのベンチマーク設計を呼びかける。 - 具体的な議論の限界や反論、倫理的問題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な論文名は不明。 - 関連手法として、embodied reward model、foundation model、synthetic bad data generation、decentralized physical evaluation systems、benchmarks for fine-grained embodied reward model evaluationsが挙げられる。 - 同分野の定番として、robot learning、reinforcement learning from human feedback (RLHF)、reward modeling、embodied AIの論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ran Tian, Yilin Wu, Andrea Bajcsy

分類: cs.RO

原文アブストラクト

This position paper argues that to obtain reliable embodied reward models, the community must invest in ``bad'' robot data: failed, suboptimal, error-prone, and even hazardous behaviors. While reward models are central to any foundation model's lifecycle, today's embodied reward models are trained primarily on successful behaviors. We analyze three state-of-the-art embodied reward models and find that they systematically over-reward behaviors that real human evaluators would penalize, including unsafe interactions, poor execution, and shortcut strategies that only superficially satisfy tasks. We attribute these failures to a key data gap: the scarcity of negative embodied data which is costly to collect and often filtered out or withheld in existing robotics datasets. Furthermore, we show that even modest exposure to real bad behavior data can improve alignment with human preferences and reduce costly false positives. We therefore call on the embodied AI community to curate and release their bad robot data, build synthetic bad data generation engines, develop more decentralized physical evaluation systems, and design benchmarks for fine-grained embodied reward model evaluations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI