日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

変形物操作/模倣学習arXiv:2606.04269

Instant-Fold: 変形物操作のための文脈内模倣学習

Instant-Fold: In-Context Imitation Learning for Deformable Object Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

単一の人間デモから変形物の多様な操作モードを推論・実行する文脈内模倣学習フレームワークを提案し、シミュレーションのみで訓練し実世界へゼロショット転移する。

詳しい要約

1. どんなもの?

- 変形可能物体操作(Deformable Object Manipulation, DOM)のための in-context imitation learning フレームワーク「Instant-Fold」を提案。 - 単一の人間によるデモンストレーションを与えると、勾配更新なしで多様な操作モードを推論・実行する。 - 空間的な実行のばらつきや順序の変化を含む操作モードに対応。 - シミュレーションのみで訓練し、実世界へ zero-shot 転移する。

2. 先行研究と比べてどこがすごい?

- 従来の DOM は高次元・部分観測・長期的・トポロジー変化を伴う相互作用が難しく、複数の有効な操作モードが存在する。 - 既存手法と比べ、単一デモから勾配更新なしで多様な操作モードを推論・実行できる点が新しい。 - シミュレーション訓練のみで実世界へ zero-shot 転移し、追加データ収集や finetuning を不要とする点が優位。 - 具体的な比較対象は要旨からは不明。

3. 技術・手法の肝は?

- 時間的コントラスト事前学習(temporal contrastive pretraining)により変形を考慮した視覚表現を学習。 - デモンストレーションを条件とする flow-matching transformer policy が、意図した操作モードを実行する行動を予測。 - これにより、勾配更新なしで多様な操作モードを推論・実行する。

4. どうやって有効だと検証した?

- シミュレーションで訓練し、多様な折り畳みモードへの汎化を確認。 - 実世界設定へ追加データ収集や finetuning なしで zero-shot 転移することを検証。 - 詳細な評価指標や実験設定は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 想定される議論点としては、zero-shot 転移の限界、多様な操作モードの範囲、実世界での失敗ケースなどが考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として、imitation learning、in-context learning、flow-matching、temporal contrastive learning、deformable object manipulation の定番研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yilong Wang, Cheng Qian, Edward Johns

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Deformable object manipulation (DOM) is challenging due to high-dimensional, partially observable states that evolve through long-horizon, topology-changing interactions with multiple valid manipulation modes. We introduce Instant-Fold, an in-context imitation learning framework for DOM. Given a single human demonstration, our policy infers and executes diverse manipulation modes directly from the demonstration, including variations in spatial execution and ordering, without requiring gradient updates. Our approach first learns deformation-aware visual representations via temporal contrastive pretraining, after which a flow-matching transformer policy conditioned on the demonstration predicts actions to execute the intended manipulation mode. Trained entirely in simulation, Instant-Fold generalizes across diverse folding modes and transfers zero-shot to real-world settings without additional data collection or finetuning. Videos are available at https://instant-fold.github.io.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI