日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.04999

CLAM: ラベルなし実演からのロボット学習のための連続潜在行動モデル

CLAM: Continuous Latent Action Models for Robot Learning from Unlabeled Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

行動ラベルなしの観察列とタスク非依存のプレイデータのみから、自己教師ありダイナミクス予測で連続潜在行動を推論し、実機ロボットの制御方策を学習する手法を提案。

詳しい要約

1. どんなもの?

- 観測列のみからなる expert demonstrations(action label なし)と、少量の task-agnostic play data(action あり)からロボット制御方策を学習する枠組み CLAM(continuous latent action models)を提案する研究。 - 連続的な latent action を自己教師ありの dynamics prediction で推論し、action decoder を介して実行可能な motor command に接地する。 - DMControl locomotion、MetaWorld manipulation、実機 WidowX タスクで評価。

2. 先行研究と比べてどこがすごい?

- 従来の latent-action baseline と比べ、平均タスク成功率を 2-3x 改善。 - privileged な expert action label を用いた behavior cloning に迫る性能を達成。 - expert の action label を収集せずに実機展開可能な方策を学習できることを示した点が特長。

3. 技術・手法の肝は?

- 連続的な latent action を、連続観測間の self-supervised dynamics prediction によって推論する。 - latent action を実行可能な motor command に接地するため、少量の task-agnostic play data を用いて action decoder を joint training する。 - 高次元連続制御には、連続 latent action とこの joint training の組み合わせが不可欠であると主張。

4. どうやって有効だと検証した?

- DMControl locomotion、MetaWorld manipulation、実世界 WidowX ロボットタスクで検証。 - 平均タスク成功率で prior latent-action baselines を 2-3x 上回ることを示す。 - privileged expert action labels で学習した behavior cloning と比較し、それに近い性能であることを報告。

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗事例、latent action の解釈性、play data 量への感度などは明記されていない)。 - 実機 WidowX で展開可能であることは示されているが、詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- behavior cloning(privileged expert action labels を用いる比較対象) - 既存の latent-action baselines(具体的名称は要旨からは不明) - DMControl locomotion、MetaWorld manipulation 関連の手法 - 連続 latent action を用いた robot learning from demonstrations の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anthony Liang, Pavel Czempin, Matthew M. Hong, Yutai Zhou, Jingzhen Wang, Erdem Biyik, Stephen Tu

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Learning robot control policies from demonstrations typically requires action-labeled expert data, which is expensive to collect through teleoperation. We study a more practical setting in which expert demonstrations are available only as observation sequences without action labels, and only task-agnostic play data contains actions. We introduce continuous latent action models (CLAM), a framework that infers continuous latent actions between consecutive observations using self-supervised dynamics prediction. To ground these latent actions into executable motor commands, CLAM jointly trains an action decoder using a small amount of task-agnostic play data. We show that continuous latent actions combined with this joint training are essential for high-dimensional continuous control. Across DMControl locomotion, MetaWorld manipulation, and real-world WidowX robot tasks, CLAM improves average task success rates by 2-3x over prior latent-action baselines and approaches behavior cloning trained with privileged expert action labels. Our results demonstrate that effective robot policies can be learned from unlabeled demonstrations and deployed on real hardware without collecting expert action-labeled data. Videos and code are available at clamrobot.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI