日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2603.05670

TransMASK: 学習された変換によるマスク状態表現

TransMASK: Masked State Representation through Learned Transformation

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの模倣学習において、タスクに関連する状態要素のみに注目するマスクを自己教師ありで学習し、環境変化に対するロバスト性を向上させる手法を提案した。

詳しい要約

1. どんなもの?

- 環境変化に頑健なロボット政策のための自己教師あり表現学習手法 TransMASK を提案。 - 観測状態にマスクを乗算し、タスクに関連する要素にバイアスされた潜在表現へ変換。 - imitation learning フレームワーク(例:diffusion policies)と追加ラベルや損失変更なしに組み合わせ可能。

2. 先行研究と比べてどこがすごい?

- 従来の関連状態抽出手法と比較し、追加のラベルや損失関数の変更を必要としない。 - 政策学習と同時にマスクを訓練でき、専門家政策の Jacobian に整合するマスクを学習。 - 環境の無関係な要素(テーブルの色、背景の clutter など)を無視する不変性を実現し、汎化性能を向上。

3. 技術・手法の肝は?

- 自己教師ありでマスクを学習し、観測状態に乗算して潜在表現を得る。 - 政策の勾配がマスクを通じて逆伝播し、人間の模倣に寄与する要素の値を増加させる。 - TransMASK の各行の大きさを正規化することで、専門家政策の Jacobian と整合させる。関連状態に対応する列は大きな値、無関係な列はゼロに近づく。

4. どうやって有効だと検証した?

- 他の関連状態抽出手法と比較し、下流の imitation learning における有効性を検証。 - 具体的な実験設定や評価指標は要旨からは不明。 - プロジェクトウェブサイト(https://collab.me.vt.edu/TransMASK/)で詳細を参照。

5. 議論はある?

- 要旨からは不明。 - 想定される議論点:マスクの正規化手法の妥当性、他の imitation learning フレームワークへの適用限界、環境変化の種類に対する頑健性など。

6. 次に読むべき論文は?

- diffusion policies(要旨で言及) - imitation learning における関連状態抽出手法(要旨で比較対象として言及) - 同分野の定番:behavior cloning、inverse reinforcement learning、domain randomization など。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sagar Parekh, Preston Culbertson, Dylan P. Losey

分類: cs.RO

原文アブストラクト

Humans train robots to complete tasks in one environment, and expect robots to perform those same tasks in new environments. As humans, we know which aspects of the environment (i.e., the state) are relevant to the task. But there are also things that do not matter; e.g., the color of the table or the presence of clutter in the background. Ideally, the robot's policy learns to ignore these irrelevant state components. Achieving this invariance improves generalization: the robot knows not to factor irrelevant variables into its control decisions, making the policy more robust to environment changes. In this paper we therefore propose a self-supervised method to learn a mask which, when multiplied by the observed state, transforms that state into a latent representation that is biased towards relevant elements. Our method -- which we call TransMASK -- can be combined with a variety of imitation learning frameworks (such as diffusion policies) without any additional labels or alterations to the loss function. To achieve this, we recognize that the learned policy updates to better match the human's true policy. This true policy only depends on the relevant parts of the state; hence, as the gradients pass back through the learned policy and our proposed mask, they increase the value for elements that cause the robot to better imitate the human. We can therefore train TransMASK at the same time as we learn the policy. By normalizing the magnitude of each row in TransMASK, we force the mask to align with the Jacobian of the expert policy: columns that correspond to relevant states have large magnitudes, while columns for irrelevant states approach zero magnitude. We compare our approach to other methods that extract relevant states for downstream imitation learning. See our project website: https://collab.me.vt.edu/TransMASK/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI