日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2508.01600

CLASS: 行動系列の監督による対照学習でロボットマニピュレーションを実現

CLASS: Contrastive Learning via Action Sequence Supervision for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

動的タイムワーピングで類似行動系列を特定し、対照学習で行動表現を学習するCLASSを提案。視覚変化に強いロボットマニピュレーションを実現。

詳しい要約

1. どんなもの?

- Behavior Cloning (BC) を用いたロボットマニピュレーションのための表現学習手法 CLASS を提案する研究。 - 実演データから行動表現を supervised contrastive learning で学習する。 - 異種データセット(カメラ姿勢や物体外観の違いによる visual shift)での BC の性能劣化に対処する。 - 学習した表現のみでの retrieval-based control と、下流の Diffusion Policy の pre-training に利用する。

2. 先行研究と比べてどこがすごい?

- BC は大規模データの利点がある一方、個々の実演に過適合し共有構造を捉えにくいため、visual shift 下で性能が劣化する。 - CLASS は実演間の類似行動系列という弱教師信号を用い、共有構造を捉える表現を学習する。 - 下流の Diffusion Policy 学習で顕著な visual shift 下でも平均成功率 75% を達成し、他の baseline は競合できなかった。 - 表現のみの retrieval-based control でも 5 つの simulation benchmark と 3 つの実世界タスクで競合する結果。

3. 技術・手法の肝は?

- Dynamic Time Warping (DTW) で類似した行動系列を同定し、弱い教師信号として利用する。 - 類似度で重み付けした positive pair を用いる soft InfoNCE loss で supervised contrastive learning を行う。 - 実演データから行動表現を学習し、その表現を下流タスクに転用する。 - 表現のみで retrieval-based control を構成でき、Diffusion Policy の pre-training にも使える。

4. どうやって有効だと検証した?

- 5 つの simulation benchmark と 3 つの実世界タスクで評価。 - 表現のみの retrieval-based control で競合する結果を得たと報告。 - 顕著な visual shift 下の下流 policy learning で、Diffusion Policy に CLASS pre-training を適用し平均成功率 75% を達成。 - 他の baseline 手法はいずれも競合する性能を示さなかったと報告。

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗事例、DTW の計算コスト、類似度閾値の感度などは記述なし)。 - visual shift 下での有効性が主な主張で、他の分布シフトやタスク種別への一般性は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及される Behavior Cloning (BC) と Diffusion Policy の原論文。 - 関連手法として supervised contrastive learning と InfoNCE loss の基礎文献。 - 系列類似度の手法として Dynamic Time Warping (DTW) の文献。 - 表現を用いた制御として retrieval-based control の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sung-Wook Lee, Xuhui Kang, Brandon Yang, Yen-Ling Kuo

分類: cs.RO

原文アブストラクト

Recent advances in Behavior Cloning (BC) have led to strong performance in robotic manipulation, driven by expressive models, sequence modeling of actions, and large-scale demonstration data. However, BC faces significant challenges when applied to heterogeneous datasets, such as visual shift with different camera poses or object appearances, where performance degrades despite the benefits of learning at scale. This stems from BC's tendency to overfit individual demonstrations rather than capture shared structure, limiting generalization. To address this, we introduce Contrastive Learning via Action Sequence Supervision (CLASS), a method for learning behavioral representations from demonstrations using supervised contrastive learning. CLASS leverages weak supervision from similar action sequences identified via Dynamic Time Warping (DTW) and optimizes a soft InfoNCE loss with similarity-weighted positive pairs. We evaluate CLASS on 5 simulation benchmarks and 3 real-world tasks to achieve competitive results using retrieval-based control with representations only. Most notably, for downstream policy learning under significant visual shifts, Diffusion Policy with CLASS pre-training achieves an average success rate of 75%, while all other baseline methods fail to perform competitively. Project webpage: https://class-robot.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI