日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.10918

視覚-行動ロボットデータの再ラベリングによるタスク堅牢性向上

Task Robustness via Re-Labelling Vision-Action Robot Data

シェア:XThreadsFacebookLINEはてブBluesky

大規模視覚言語モデルを用いて既存のロボットデータセットを拡張し、追加データ収集なしで指示追従性能と汎化性を向上させるフレームワークTREADを提案した。

詳しい要約

1. どんなもの?

- ロボット学習のためのデータ拡張フレームワークTREADを提案。 - 大規模Vision-Language Models (VLMs)を活用し、既存のロボティクスデータセットを再ラベリング。 - 追加のデータ収集なしで、指示追従性能とタスク汎化性能を向上させる。

2. 先行研究と比べてどこがすごい?

- 従来のロボット学習はデータセットの言語的・行動系列的多様性不足により指示追従が苦手。 - TREADは追加データ収集なしでVLMの転移知識を利用し、データを拡張。 - 既存手法と比べ、計画汎化と言語条件付き政策汎化の両方を改善。

3. 技術・手法の肝は?

- 事前学習済みVLMを3段階で利用: - 元の指示ラベルと初期シーンから意味的サブタスクを生成。 - サブタスクに基づきデモンストレーションビデオをセグメント化。 - オブジェクト属性を含む多様な指示を生成し、長いデモを接地された言語-行動ペアに分解。 - さらに、言語的に多様なテキストゴールでデータを拡張し頑健性を強化。

4. どうやって有効だと検証した?

- LIBEROベンチマークで評価。 - 拡張データセットで訓練した政策は、新規の未見タスクとゴールで性能向上。 - 軌道分解による計画汎化と言語多様性による言語条件付き政策汎化の両方を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- LIBEROベンチマークに関する論文。 - Vision-Language Models (VLMs)をロボティクスに応用した研究。 - ロボット学習のデータ拡張手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Artur Kuramshin, Özgür Aslan, Cyrus Neary, Glen Berseth

分類: cs.RO, cs.LG

原文アブストラクト

The recent trend in scaling models for robot learning has resulted in impressive policies that can perform various manipulation tasks and generalize to novel scenarios. However, these policies continue to struggle with following instructions, likely due to the limited linguistic and action sequence diversity in existing robotics datasets. This paper introduces Task Robustness via Re-Labelling Vision-Action Robot Data (TREAD), a scalable framework that leverages large Vision-Language Models (VLMs) to augment existing robotics datasets without additional data collection, harnessing the transferable knowledge embedded in these models. Our approach leverages a pretrained VLM through three stages: generating semantic sub-tasks from original instruction labels and initial scenes, segmenting demonstration videos conditioned on these sub-tasks, and producing diverse instructions that incorporate object properties, effectively decomposing longer demonstrations into grounded language-action pairs. We further enhance robustness by augmenting the data with linguistically diverse versions of the text goals. Evaluations on LIBERO demonstrate that policies trained on our augmented datasets exhibit improved performance on novel, unseen tasks and goals. Our results show that TREAD enhances both planning generalization through trajectory decomposition and language-conditioned policy generalization through increased linguistic diversity.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI