日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習/報酬学習arXiv:2603.22574

GIFT: 意図の一般化による柔軟なテスト時報酬

GIFT: Generalizing Intent for Flexible Test-Time Rewards

シェア:XThreadsFacebookLINEはてブBluesky

ロボットがデモから学習した報酬関数の汎化を、見た目や意味の類似性ではなく人間の意図に基づいて行うフレームワークGIFTを提案。言語モデルで意図を推定し、テスト時の状態を意図条件付き類似度で対応付けることで、再学習なしに分布シフトへ対応する。

詳しい要約

1. どんなもの?

- ロボットがユーザのデモンストレーションから報酬関数を学習する際、新しい環境への汎化が失敗する問題に取り組む。 - 失敗の原因は、学習された報酬が人間の意図ではなく訓練データのspurious correlationsに依存するため。 - 提案手法GIFT (Generalizing Intent for Flexible Test-Time Rewards) は、報酬の汎化を表面的な手がかりではなく人間の意図に基づかせるフレームワーク。 - 言語モデルを活用し、好ましい行動と好ましくない行動を対比して高レベルの意図を推論する。 - 展開時には、意図条件付き類似度により新しいテスト状態を行動的に等価な訓練状態にマッピングし、再訓練なしで報酬を汎化させる。

2. 先行研究と比べてどこがすごい?

- 既存手法は視覚的または意味的類似性を利用してロボット報酬の頑健性を改善しようとする。 - しかし、これらの表面的な手がかりは人間が実際に重視するものとしばしば乖離する。 - GIFTは報酬の汎化を表面的な手がかりではなく人間の意図に基づかせる点で異なる。 - 意図条件付き類似度により、分布シフトをまたいで学習済み報酬を再訓練なしに汎化できる。 - 視覚的・意味的類似性ベースラインと比較して、テスト時のペアワイズ勝率と状態アラインメントF1スコアで一貫して優れる。

3. 技術・手法の肝は?

- 言語モデルを用いて、ユーザのデモンストレーションから高レベルの意図を推論する。 - 推論には、好ましい行動と好ましくない行動を対比することを利用する。 - 展開時には、意図条件付き類似度 (intent-conditioned similarity) により、新しいテスト状態を行動的に等価な訓練状態にマッピングする。 - このマッピングにより、学習済み報酬を再訓練なしで分布シフトに汎化させる。 - 具体的な言語モデルや類似度計算の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 新しい物体とレイアウトを含むtabletop manipulationタスクで評価。 - 4つのシミュレーションタスク、50以上の未見物体で、視覚的・意味的類似性ベースラインと比較。 - テスト時のペアワイズ勝率と状態アラインメントF1スコアでGIFTが一貫して優れることを示した。 - 7-DoF Franka Pandaロボットを用いた実世界実験で、物理環境への信頼性の高い転移を実証。 - 詳細な実験設定や統計は要旨からは不明。

5. 議論はある?

- 要旨では、既存の視覚的・意味的類似性が人間の意図と乖離する点を問題として議論している。 - GIFTは意図に基づくことでこの問題を克服するが、意図推論の誤りや言語モデルの限界については要旨からは不明。 - 実世界実験での成功は示されているが、より多様なタスクや環境への一般性については要旨からは不明。 - 追加の議論は https://mit-clear-lab.github.io/GIFT/ で参照可能とされている。

6. 次に読むべき論文は?

- 要旨で比較されている視覚的類似性ベースラインおよび意味的類似性ベースラインに関する研究。 - ユーザデモンストレーションからの報酬学習に関する研究。 - 言語モデルを用いた意図推論や報酬設計に関する研究。 - 具体的な論文名は要旨に記載されていないため、同分野の関連手法を参照する必要がある。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fin Amin, Nathaniel Dennler, Andreea Bobu

分類: cs.RO

原文アブストラクト

Robots learn reward functions from user demonstrations, but these rewards often fail to generalize to new environments. This failure occurs because learned rewards latch onto spurious correlations in training data rather than the underlying human intent that demonstrations represent. Existing methods leverage visual or semantic similarity to improve robustness, yet these surface-level cues often diverge from what humans actually care about. We present Generalizing Intent for Flexible Test-Time Rewards (GIFT), a framework that grounds reward generalization in human intent rather than surface cues. GIFT leverages language models to infer high-level intent from user demonstrations by contrasting preferred with non-preferred behaviors. At deployment, GIFT maps novel test states to behaviorally equivalent training states via intent-conditioned similarity, enabling learned rewards to generalize across distribution shifts without retraining. We evaluate GIFT on tabletop manipulation tasks with new objects and layouts. Across four simulated tasks with over 50 unseen objects, GIFT consistently outperforms visual and semantic similarity baselines in test-time pairwise win rate and state-alignment F1 score. Real-world experiments on a 7-DoF Franka Panda robot demonstrate that GIFT reliably transfers to physical settings. Further discussion can be found at https://mit-clear-lab.github.io/GIFT/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI