日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.18043

行動前に準備せよ:人間から学ぶ初期状態の再配置

Prepare Before You Act: Learning From Humans to Rearrange Initial States

シェア:XThreadsFacebookLINEはてブBluesky

方策の分布外にある初期状態に対し、人間の動画と遠隔操作データを活用して物体配置を自律的に整え、その後の方策実行を成功させやすくする手法ReSETを提案。

詳しい要約

1. どんなもの?

- ロボットの模倣学習(IL)ポリシーが訓練分布外の初期状態に直面した際に、タスク実行前に環境を能動的に整える(prepare)能力を与える研究。 - 提案手法 ReSET: ポリシーの分布外である初期状態を受け取り、物体の pose を自律的に変更して、再構成後のシーンを訓練データに近づける。 - 「環境を再配置してから所与のポリシーを実行する」という2段階プロセスを提案。

2. 先行研究と比べてどこがすごい?

- 従来の IL は分布外観測(未見位置や遮蔽)に対して大量のデモンストレーションを要し、頑健性・汎化性に乏しい。 - 人間が非典型的初期状態で環境を再配置する振る舞いに着想を得て、ロボットに同様の能力を付与する点が新しい。 - 理論的に、再配置→ポリシー実行の2段階が generalization gap を低減することを示す。 - diffusion policies や VLAs などのベースラインと比較し、同等の総訓練データ量でより頑健なタスク実行を実現。

3. 技術・手法の肝は?

- ReSET は action-agnostic な人間動画と task-agnostic な teleoperation データを組み合わせる。 - i) いつシーンを変更すべきかの判断、ii) 人間が行うであろう simplifying actions の予測、iii) その予測をロボットの action primitives へマッピング、の3要素を統合。 - 初期状態をポリシー分布に近づけるよう物体 pose を自律的に修正するアルゴリズム。

4. どうやって有効だと検証した?

- diffusion policies、VLAs、その他ベースラインとの比較実験を実施。 - 同等の総訓練データ量の条件下で、ReSET による環境準備がより頑健なタスク実行を可能にすることを示した。 - 詳細な実験設定・評価指標は要旨からは不明。

5. 議論はある?

- 理論的に2段階プロセスが generalization gap を低減することを示している。 - 限界や失敗ケース、人間動画と teleoperation データの組み合わせの制約などは要旨からは不明。 - プロジェクトサイトで動画が公開されている。

6. 次に読むべき論文は?

- diffusion policies(拡散ポリシー) - VLAs(Vision-Language-Action models) - imitation learning(IL)全般 - action-agnostic な人間動画を用いる学習手法 - teleoperation データを用いる manipulation 学習

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yinlong Dai, Andre Keyser, Dylan P. Losey

分類: cs.RO, cs.LG, cs.SY, eess.SY

原文アブストラクト

Imitation learning (IL) has proven effective across a wide range of manipulation tasks. However, IL policies often struggle when faced with out-of-distribution observations; for instance, when the target object is in a previously unseen position or occluded by other objects. In these cases, extensive demonstrations are needed for current IL methods to reach robust and generalizable behaviors. But when humans are faced with these sorts of atypical initial states, we often rearrange the environment for more favorable task execution. For example, a person might rotate a coffee cup so that it is easier to grasp the handle, or push a box out of the way so they can directly grasp their target object. In this work we seek to equip robot learners with the same capability: enabling robots to prepare the environment before executing their given policy. We propose ReSET, an algorithm that takes initial states -- which are outside the policy's distribution -- and autonomously modifies object poses so that the restructured scene is similar to training data. Theoretically, we show that this two step process (rearranging the environment before rolling out the given policy) reduces the generalization gap. Practically, our ReSET algorithm combines action-agnostic human videos with task-agnostic teleoperation data to i) decide when to modify the scene, ii) predict what simplifying actions a human would take, and iii) map those predictions into robot action primitives. Comparisons with diffusion policies, VLAs, and other baselines show that using ReSET to prepare the environment enables more robust task execution with equal amounts of total training data. See videos at our project website: https://reset2025paper.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI