日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動マニピュレーションarXiv:2507.17379

言語条件付きオープンボキャブラリ移動マニピュレーションの事前学習モデルによる実現

Language-Conditioned Open-Vocabulary Mobile Manipulation with Pretrained Models

シェア:XThreadsFacebookLINEはてブBluesky

LLMとVLMを組み合わせ、自由形式の自然言語指示で家庭環境における未知物体の移動マニピュレーションをゼロショットで行うフレームワークLOVMMを提案した。

詳しい要約

1. どんなもの?

- 家庭環境での Open-vocabulary mobile manipulation (OVMM) を対象とした研究 - 自由形式の自然言語指示(例: "toss the food boxes on the office room desk to the trash bin in the corner")で様々な OVMM タスクを解く - LLM と VLM を組み合わせた Language-conditioned Open-Vocabulary Mobile Manipulation framework「LOVMM」を提案 - 未知物体や異なるワークスペースを扱う実世界ロボティクス応用を動機とする

2. 先行研究と比べてどこがすごい?

- 従来の OVMM は新規・未見物体や異なるワークスペースへの対応が大きな課題 - LOVMM は LLM と VLM を統合し、自由形式の自然言語指示で多様な OVMM タスクを扱える点が特徴 - 複雑な家庭環境のシミュレーションで強い zero-shot generalization と multi-task learning 能力を示す - 複数の tabletop manipulation タスクにも汎化し、他の state-of-the-art 手法より高い成功率を達成したと主張 - 具体的な比較対象手法名は要旨からは不明

3. 技術・手法の肝は?

- LLM と VLM を組み合わせた Language-conditioned なフレームワーク LOVMM を構築 - 自由形式の自然言語指示を入力として OVMM タスクを解く構成 - 詳細なモジュール構成や LLM/VLM の具体的な役割分担は要旨からは不明 - 学習・推論のパイプラインや行動生成の詳細は要旨からは不明

4. どうやって有効だと検証した?

- 複雑な家庭環境を模したシミュレーションで Extensive experiments を実施 - zero-shot generalization と multi-task learning 能力を評価 - 複数の tabletop manipulation タスクへの汎化を検証 - 他の state-of-the-art 手法との成功率比較を実施 - 具体的なデータセット名・ベースライン名・評価指標の詳細は要旨からは不明

5. 議論はある?

- 実世界ロボット応用に向けた OVMM の難しさ(新規物体・異なるワークスペース)を課題として提示 - シミュレーション中心の検証であり、実機実験の有無や sim-to-real の議論は要旨からは不明 - 失敗事例や限界、計算コスト、LLM/VLM の誤りへの対処は要旨からは不明 - 倫理・安全性面の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究名は不明 - 同分野の関連として Open-vocabulary mobile manipulation (OVMM) の代表的ベンチマーク/手法(例: OVMM Challenge、SayCan 系の LLM プランニング、CLIP 系 VLM を用いた物体認識)を次に読む候補として挙げる - LLM と VLM を統合したロボットタスクプランニングの研究(例: Code as Policies、VoxPoser など)も関連候補 - tabletop manipulation の state-of-the-art 手法との比較論文も参照候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shen Tan, Dong Zhou, Xiangyu Shao, Junqiao Wang, Guanghui Sun

分類: cs.RO

原文アブストラクト

Open-vocabulary mobile manipulation (OVMM) that involves the handling of novel and unseen objects across different workspaces remains a significant challenge for real-world robotic applications. In this paper, we propose a novel Language-conditioned Open-Vocabulary Mobile Manipulation framework, named LOVMM, incorporating the large language model (LLM) and vision-language model (VLM) to tackle various mobile manipulation tasks in household environments. Our approach is capable of solving various OVMM tasks with free-form natural language instructions (e.g. "toss the food boxes on the office room desk to the trash bin in the corner", and "pack the bottles from the bed to the box in the guestroom"). Extensive experiments simulated in complex household environments show strong zero-shot generalization and multi-task learning abilities of LOVMM. Moreover, our approach can also generalize to multiple tabletop manipulation tasks and achieve better success rates compared to other state-of-the-art methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI