日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.18487

身体認識を視覚表現に接地させた効率的な方策学習

Grounding Bodily Awareness in Visual Representations for Efficient Policy Learning

シェア:XThreadsFacebookLINEはてブBluesky

ViTのトークン表現にエージェントと環境を分離する対照学習を導入し、身体的な帰納バイアスを組み込んだ視覚表現で操作タスクの方策学習とロボット間転移を改善した。

詳しい要約

1. どんなもの?

- ロボット操作のための視覚表現学習手法 **ICon**(Inter-token Contrast)を提案する研究。 - Vision Transformers (ViTs) の token レベル表現に contrastive learning を適用する。 - agent 固有 token と environment 固有 token を特徴空間で分離し、身体性の inductive bias を埋め込んだ agent-centric な視覚表現を得る。 - この contrastive loss を補助目的として end-to-end の policy learning に統合できる。

2. 先行研究と比べてどこがすごい?

- 従来の視覚表現学習は操作実行時の複雑な body dynamics を扱いにくい点が課題とされている。 - 先行研究との具体的な比較・優位性の定量的記述は要旨からは不明。 - 主張として、ICon は操作タスクの policy 性能を改善するだけでなく、異なるロボット間の policy transfer も促進する。 - 身体関連の手がかりを視覚表現に持たせる点を特徴とする。

3. 技術・手法の肝は?

- ViTs の token-level 表現に対し contrastive learning を適用する **ICon** が中核。 - agent-specific token と environment-specific token の特徴空間での分離を強制する。 - これにより agent-centric で身体固有の inductive bias を埋め込んだ視覚表現を形成する。 - contrastive loss を補助目的として end-to-end policy learning に組み込む設計。 - 具体的な loss 式や token の選別方法は要旨からは不明。

4. どうやって有効だと検証した?

- 複数の manipulation タスクで実験を実施し、policy 性能の改善を示した。 - 異なるロボット間での policy transfer が促進されることを示した。 - 実験設定・ベースライン・データセット・評価指標の詳細は要旨からは不明。 - プロジェクトサイト https://inter-token-contrast.github.io/icon/ が公開されている。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、agent/environment token 分離の一般性、補助 loss の重み設計、実機での頑健性などが考えられるが、本文に基づく記述は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として Vision Transformers (ViTs)、contrastive learning、end-to-end policy learning、policy transfer に関する研究を挙げる。 - 同分野の定番として robotic manipulation 向け視覚表現学習や imitation learning の研究が候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junlin Wang, Zhiyun Lin

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Learning effective visual representations for robotic manipulation remains a fundamental challenge due to the complex body dynamics involved in action execution. In this paper, we study how visual representations that carry body-relevant cues can enable efficient policy learning for downstream robotic manipulation tasks. We present $\textbf{I}$nter-token $\textbf{Con}$trast ($\textbf{ICon}$), a contrastive learning method applied to the token-level representations of Vision Transformers (ViTs). ICon enforces a separation in the feature space between agent-specific and environment-specific tokens, resulting in agent-centric visual representations that embed body-specific inductive biases. This framework can be seamlessly integrated into end-to-end policy learning by incorporating the contrastive loss as an auxiliary objective. Our experiments show that ICon not only improves policy performance across various manipulation tasks but also facilitates policy transfer across different robots. The project website: https://inter-token-contrast.github.io/icon/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI