日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2607.19633

LENS: LLMによる環境簡略化ガイドによるクラッタ環境での計画と制御

LENS: LLM-guided Environment Simplification for Planning and Control in Clutter

シェア:XThreadsFacebookLINEはてブBluesky

LLMを用いてシーン内の物体をタスクに応じて統合・削除し、動的な抽象化を自動生成することで、既存の計画・制御手法の性能をクラッタ環境で向上させる手法を提案した。

詳しい要約

1. どんなもの?

LENSは、LLM(大規模言語モデル)を用いて、ロボット操作タスクにおけるシーン抽象化を自動生成するプラグアンドプレイの手法。既存のプランニング・制御スタックの上に、シーン固有・タスク固有で適応的に更新される抽象化を閉ループで生成する。具体的には、シーン内の物体をマージ(例:積み重ねられた物体)やプルーニング(例:遠方の物体)することで、デクラッタされた抽象シーン表現を生成する。

2. 先行研究と比べてどこがすごい?

従来のシーン抽象化はタスク固有の手動エンジニアリングに依存し、コストが高く調整が困難だった。LENSはこれを自動化し、プラグアンドプレイで既存のプランニング・制御スタックに統合できる点が新しい。また、タスクの進捗に応じて抽象化を動的に更新する点も先行研究と異なる。

3. 技術・手法の肝は?

手法の肝は、LLMを利用してシーン抽象化を生成する点。閉ループでタスク進捗を監視し、シーン内の物体をマージ(例:積み重ね)またはプルーニング(例:遠方)する。これにより、タスクに関連する抽象化を動的に生成し、プランニングや制御の複雑さを軽減する。

4. どうやって有効だと検証した?

実験では、古典的プランニング、モデルベース制御、およびVision-Language-Actionモデルに対してLENSを適用し、多様な高クラッタ操作シーンで性能を向上させた。具体的な数値や比較対象は要旨からは不明だが、有効性が示されている。

5. 議論はある?

要旨からは、LENSの限界や議論点は明示されていない。ただし、LLMによる抽象化の品質がタスクやシーンに依存する可能性や、動的更新の計算コストなどが考えられるが、要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている研究は明示されていないが、関連手法として古典的プランニング、モデルベース制御、Vision-Language-Actionモデルが挙げられている。次に読むべき論文としては、これらの基盤技術に関する論文や、LLMを用いたロボット操作の最近の研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aileen Liao, Rachel Holladay, Dinesh Jayaraman, Michael Posa

分類: cs.RO

原文アブストラクト

Despite recent advances in general-purpose robotic manipulation, real-world multi-object clutter remains challenging to handle for today's prevalent approaches. The problem scales in complexity due to more objects and collisions, more unpredictable contact physics, distractors, and task ambiguity. Bridging this gap to real-world deployment requires effective scene abstractions; yet today, producing such abstractions requires extensive task-specific manual engineering, which does not scale. These abstractions are costly to generate and difficult to adjust or fine-tune. We instead propose a plug-and-play fix to automatically generate scene-specific, task-specific, adaptively updating abstractions on top of existing planning and control stacks. LLM-guided Environment Simplification (LENS) produces a de-cluttered abstracted scene representation by merging (e.g., stacked objects) or pruning (e.g., distant objects) scene entities in a closed loop in response to task progress. These dynamic, task-relevant abstractions are versatile and easy to use. In our experiments, we show that LENS improves classical planning, model-based control, and a vision-language-action model, across a diverse set of highly cluttered manipulation scenes. Project website: https://lens-2026.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI