日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2506.14287

推論時のインタラクションでロボットを操縦する

Steering Robots with Inference-Time Interactions

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みの方策を凍結したまま、推論時にユーザーのインタラクションで離散スキルの切り替えや連続動作の編集を行い、追加学習なしで方策の誤りを修正する枠組みを提案。

詳しい要約

1. どんなもの?

- ロボットの模倣学習(imitation learning)で学習した汎用方策(generalist policies)を、展開時にユーザとのインタラクションで誘導する研究 - 事前学習済み方策を凍結したまま「固定されたスキルレパートリー」として扱い、推論時に振る舞い生成をユーザ選好へ導く枠組みを提案 - 提案は2つ:(1) inference-time steering(離散スキル間の切替え)、(2) task and motion imitation(連続運動の編集と離散シンボリック計画の制約充足) - 追加のファインチューニングなしで方策の誤りを訂正することを狙う

2. 先行研究と比べてどこがすごい?

- 従来は展開時の方策誤りに対し、下流ユースケースごとに追加データを集めて finetuning する必要があり、展開時の効率が悪い - 本研究は方策を凍結したまま推論時のユーザインタラクションで振る舞いを誘導する点が異なる - モデルが汎化に苦戦する場面でも、finetune せずにユーザが誤りを訂正できる点を利点として主張 - 事前学習モデルの有用性を最大化しつつ推論時のユーザ目的を達成する点が先行研究との差分(具体的比較対象は要旨からは不明)

3. 技術・手法の肝は?

- 事前学習済み方策を凍結し、推論時にユーザインタラクションを入力として振る舞い生成を誘導する - (1) inference-time steering:ユーザインタラクションを用いて離散スキル間を切替える - (2) task and motion imitation:離散シンボリック計画が定義する task constraints を満たしつつ、ユーザインタラクションで連続運動を編集する - いずれも追加学習を必要とせず、誤った方策予測を推論時に訂正する枠組み

4. どうやって有効だと検証した?

- 要旨からは不明(実験・評価手法・データセット・タスクの記述がない)

5. 議論はある?

- 要旨からは不明(限界・失敗事例・議論の記述がない) - 提案の位置づけとして、展開時の finetuning の非効率性を動機として述べている点のみ確認できる

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究の明示はない - 関連手法として、模倣学習による generalist policies、finetuning による方策適応、inference-time steering、task and motion imitation に関する文献が次に読む候補(具体的論文名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanwei Wang

分類: cs.RO, cs.AI, cs.HC, cs.LG

原文アブストラクト

Imitation learning has driven the development of generalist policies capable of autonomously solving multiple tasks. However, when a pretrained policy makes errors during deployment, there are limited mechanisms for users to correct its behavior. While collecting additional data for finetuning can address such issues, doing so for each downstream use case is inefficient at deployment. My research proposes an alternative: keeping pretrained policies frozen as a fixed skill repertoire while allowing user interactions to guide behavior generation toward user preferences at inference time. By making pretrained policies steerable, users can help correct policy errors when the model struggles to generalize-without needing to finetune the policy. Specifically, I propose (1) inference-time steering, which leverages user interactions to switch between discrete skills, and (2) task and motion imitation, which enables user interactions to edit continuous motions while satisfying task constraints defined by discrete symbolic plans. These frameworks correct misaligned policy predictions without requiring additional training, maximizing the utility of pretrained models while achieving inference-time user objectives.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI