日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2510.09096

ロボットが人間より上手くなる:制約付き実演者からの学習

When a Robot is More Capable than a Human: Learning from Constrained Demonstrators

シェア:XThreadsFacebookLINEはてブBluesky

制約のある実演から状態のみの報酬を推定し、より短く効率的な軌道を探索することで、模倣学習を超える性能を実現した。

詳しい要約

1. どんなもの?

- 制約された専門家によるデモンストレーションから、ロボットがより良いポリシーを学習する手法を提案。 - 専門家はジョイスティックやキネステティックティーチングなどのインターフェースの制約により、最適なデモンストレーションができない場合がある。 - 提案手法では、デモンストレーションから状態のみの報酬信号を推論し、未知の状態に対して時間補間で自己ラベル付けを行うことで、直接模倣を超えた探索を可能にする。 - 実機の WidowX ロボットアームで、Behavioral Cloning より10倍速い12秒でタスクを完了。

2. 先行研究と比べてどこがすごい?

- 従来の模倣学習(Behavioral Cloning など)は専門家の行動を直接模倣するため、制約された専門家のデモンストレーションからは最適以下のポリシーしか学習できない。 - 提案手法は、専門家の行動を直接模倣するのではなく、状態のみの報酬信号を学習し、より短く効率的な軌道を探索することを可能にする。 - サンプル効率とタスク完了時間の両方で一般的な模倣学習を上回る。 - 実機実験で Behavioral Cloning より10倍高速なタスク完了を実現。

3. 技術・手法の肝は?

- デモンストレーションから状態のみの報酬信号を推論する。 - 未知の状態に対する報酬は時間補間(temporal interpolation)を用いて自己ラベル付けする。 - エージェントは直接模倣を超えて、より短く効率的な軌道を探索する。 - これにより、制約された専門家のデモンストレーションからでも、より良いポリシーを学習できる。

4. どうやって有効だと検証した?

- 実機の WidowX ロボットアームを用いて実験。 - 提案手法は Behavioral Cloning と比較して、サンプル効率とタスク完了時間で優れる。 - 実機でタスクを12秒で完了し、Behavioral Cloning より10倍高速であることを示した(ビデオは https://sites.google.com/view/constrainedexpert で公開)。

5. 議論はある?

- 制約された専門家のデモンストレーションから、ロボットがより良いポリシーを学習できることを示した。 - 状態のみの報酬信号の推論と時間補間による自己ラベル付けが有効であることを実証。 - ただし、他のタスクやロボットへの汎化性、制約の種類に対する頑健性については要旨からは不明。

6. 次に読むべき論文は?

- 関連手法として、Behavioral Cloning、Inverse Reinforcement Learning、Imitation Learning from Observations などが挙げられる。 - 特に、状態のみの報酬学習や時間補間を用いた自己ラベル付けに関する研究(例:Temporal Interpolation を用いた報酬学習)を参照すると良い。 - また、制約されたデモンストレーションからの学習に関する研究(例:Learning from Constrained Demonstrations)も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinhu Li, Ayush Jain, Zhaojing Yang, Yigit Korkmaz, Erdem Bıyık

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Learning from demonstrations enables experts to teach robots complex tasks using interfaces such as kinesthetic teaching, joystick control, and sim-to-real transfer. However, these interfaces often constrain the expert's ability to demonstrate optimal behavior due to indirect control, setup restrictions, and hardware safety. For example, a joystick can move a robotic arm only in a 2D plane, even though the robot operates in a higher-dimensional space. As a result, the demonstrations collected by constrained experts lead to suboptimal performance of the learned policies. This raises a key question: Can a robot learn a better policy than the one demonstrated by a constrained expert? We address this by allowing the agent to go beyond direct imitation of expert actions and explore shorter and more efficient trajectories. We use the demonstrations to infer a state-only reward signal that measures task progress, and self-label reward for unknown states using temporal interpolation. Our approach outperforms common imitation learning in both sample efficiency and task completion time. On a real WidowX robotic arm, it completes the task in 12 seconds, 10x faster than behavioral cloning, as shown in real-robot videos on https://sites.google.com/view/constrainedexpert .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI