日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2603.03278

Tether: 対応関係駆動の軌道ワーピングによる自律的機能プレイ

Tether: Autonomous Functional Play with Correspondence-Driven Trajectory Warping

シェア:XThreadsFacebookLINEはてブBluesky

少数のデモから意味的キーポイント対応を用いてアクションをワープするオープンループポリシーを提案し、それを用いて実世界で自律的にマルチタスクのプレイデータを収集・改善する手法を紹介する。

詳しい要約

1. どんなもの?

- ロボットが自律的に機能的な遊び(タスク指向の相互作用)を行い、経験から学習する手法「Tether」を提案。 - 少数のデモンストレーション(10以下)から、意味的キーポイント対応に基づいて行動をワープする開ループポリシーを設計。 - 視覚言語モデル(VLM)の視覚理解を活用し、タスク選択・実行・評価・改善のサイクルで実世界の自律的遊びを実現。 - 家庭環境に似たマルチオブジェクト設定で、数時間の自律マルチタスク遊びを実現し、1000以上の専門家レベル軌道を生成。

2. 先行研究と比べてどこがすごい?

- 従来の人間によるデモンストレーション収集は労力が大きく、スケーラブルでない。 - 既存の自律遊び手法は、多様で分布外の環境状態に対するロバスト性や、有用な経験を継続的に生成する手順が不足。 - Tetherは少数のデモ(<=10)から出発し、空間的・意味的変動にロバストなポリシーを実現。 - 人間の介入を最小限に抑えつつ、多様で高品質なデータセットを生成し、閉ループ模倣ポリシーの性能を継続的に改善。 - 実世界で数時間の自律マルチタスク遊びを実現した初の手法。

3. 技術・手法の肝は?

- 開ループポリシー:少数のソースデモンストレーションの行動を、ターゲットシーンの意味的キーポイント対応にアンカーしてワープ。 - 視覚言語モデル(VLM)の視覚理解を活用し、タスク選択・実行・評価・改善の連続サイクルを自律的に実行。 - このサイクルにより、多様で高品質なデータセットを最小限の人間介入で生成。 - 生成されたデータは閉ループ模倣ポリシーの訓練に使用され、性能が向上。

4. どうやって有効だと検証した?

- 家庭環境に似たマルチオブジェクト設定で、数時間の自律マルチタスク遊びを実世界で実行。 - 少数のデモンストレーションから出発し、1000以上の専門家レベル軌道を生成。 - 生成されたデータで訓練したポリシーが、人間が収集したデモンストレーションから学習したポリシーと競合する性能を達成。 - 閉ループ模倣ポリシーの性能が時間とともに一貫して改善することを確認。

5. 議論はある?

- 要旨からは、手法の限界や失敗ケース、計算コスト、VLMの誤りに対するロバスト性などの議論は明示されていない。 - 自律遊びの安全性や、人間の介入が必要な条件についての議論も要旨からは不明。 - 生成されたデータの品質や多様性の評価基準についても詳細は不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、模倣学習(imitation learning)、視覚言語モデル(vision-language models)、キーポイント対応(keypoint correspondence)、軌道ワーピング(trajectory warping)などが挙げられる。 - 同分野の定番として、行動クローニング(behavior cloning)、強化学習(reinforcement learning)、自己教師あり学習(self-supervised learning)などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: William Liang, Sam Wang, Hung-Ju Wang, Osbert Bastani, Yecheng Jason Ma, Dinesh Jayaraman

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

The ability to conduct and learn from interaction and experience is a central challenge in robotics, offering a scalable alternative to labor-intensive human demonstrations. However, realizing such "play" requires (1) a policy robust to diverse, potentially out-of-distribution environment states, and (2) a procedure that continuously produces useful robot experience. To address these challenges, we introduce Tether, a method for autonomous functional play involving structured, task-directed interactions. First, we design a novel open-loop policy that warps actions from a small set of source demonstrations (<=10) by anchoring them to semantic keypoint correspondences in the target scene. We show that this design is extremely data-efficient and robust even under significant spatial and semantic variations. Second, we deploy this policy for autonomous functional play in the real world via a continuous cycle of task selection, execution, evaluation, and improvement, guided by the visual understanding capabilities of vision-language models. This procedure generates diverse, high-quality datasets with minimal human intervention. In a household-like multi-object setup, our method is the first to perform many hours of autonomous multi-task play in the real world starting from only a handful of demonstrations. This produces a stream of data that consistently improves the performance of closed-loop imitation policies over time, ultimately yielding over 1000 expert-level trajectories and training policies competitive with those learned from human-collected demonstrations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI