日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2508.19391

LaVA-Man: ロボットマニピュレーションのための視覚行動表現学習

LaVA-Man: Learning Visual Action Representations for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

マスクされた目標画像を入力画像とテキスト指示から再構成する自己教師ありタスクで視覚とテキストの関連を学習し、少数の実演でマニピュレーションに適応する手法を提案。

詳しい要約

1. どんなもの?

- 言語誘導型のロボットマニピュレーションのための視覚行動表現学習手法「LaVA-Man」を提案する論文。 - 視覚観測とテキスト指示の対応を自己教師ありのpretext taskで学習し、その表現を操作用にfine-tuneする。 - 併せて、180 object classes・3,200 instancesの注釈付き卓上マニピュレーションepisodeからなる「Omni-Object Pick-and-Place」datasetを導入。

2. 先行研究と比べてどこがすごい?

- 先行研究はpre-trained vision-language modelで視覚観測とテキスト指示の類似度を測り、その類似度を行動に写像する2段階手法が主流。 - 著者らはこの2段階手法が視覚観測とテキスト指示の関係を捉えきれず、manipulationの精度を低下させると指摘。 - 提案法は類似度を介さず、masked goal imageの再構成という自己教師ありpretext taskで視覚-テキスト対応を直接学習する点が異なる。 - robot action supervisionなしで視覚行動表現を学習でき、少数のdemonstrationsでのfine-tuneが可能と主張。

3. 技術・手法の肝は?

- 入力画像とテキスト指示を条件に、maskされたgoal imageを再構成するself-supervised pretext taskを設計。 - この再構成タスクを通じてvisual-action representationsをrobot action supervisionなしで獲得。 - 学習した表現を、少数のdemonstrationsを用いたmanipulation task向けにfine-tuneする枠組み。 - 新dataset「Omni-Object Pick-and-Place」により多様なobject priorsの獲得とobject instances間のgeneralisation評価を可能にする。

4. どうやって有効だと検証した?

- 5つのbenchmarksで評価し、simulatedとreal-robotの両方のvalidationを含む。 - 実験結果として、提案法がprior artを上回る性能を示したと報告。 - 新datasetはobject instances間のgeneralisation capabilityをより包括的に評価するために用いられる。 - 個々のbenchmark名や定量値の詳細は要旨からは不明。

5. 議論はある?

- 2段階手法の限界として、視覚観測とテキスト指示の関係を捉えきれず精度が低下する点を議論。 - robot action supervisionなしで視覚行動表現を学習できる可能性を提示。 - 新datasetにより多様なobject priorsとgeneralisation評価の枠組みを提供。 - 具体的な限界や失敗事例、ablationの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として言及される、pre-trained vision-language modelの類似度を行動に写像する2段階手法の関連研究。 - masked image modeling系のself-supervised pretext taskに関する研究。 - language-guided robot manipulationのbenchmarkおよびdemonstration-based fine-tuningに関する研究。 - 個別の論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chaoran Zhu, Hengyi Wang, Yik Lung Pang, Changjae Oh

分類: cs.RO

原文アブストラクト

Visual-textual understanding is essential for language-guided robot manipulation. Recent works leverage pre-trained vision-language models to measure the similarity between encoded visual observations and textual instructions, and then train a model to map this similarity to robot actions. However, this two-step approach limits the model to capture the relationship between visual observations and textual instructions, leading to reduced precision in manipulation tasks. We propose to learn visual-textual associations through a self-supervised pretext task: reconstructing a masked goal image conditioned on an input image and textual instructions. This formulation allows the model to learn visual-action representations without robot action supervision. The learned representations can then be fine-tuned for manipulation tasks with only a few demonstrations. We also introduce the \textit{Omni-Object Pick-and-Place} dataset, which consists of annotated robot tabletop manipulation episodes, including 180 object classes and 3,200 instances with corresponding textual instructions. This dataset enables the model to acquire diverse object priors and allows for a more comprehensive evaluation of its generalisation capability across object instances. Experimental results on the five benchmarks, including both simulated and real-robot validations, demonstrate that our method outperforms prior art.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI