日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2610.14106

ハードウェア認識型LLM-VLM統合による実機を考慮したロボットマニピュレーションのゼロショットタスクプランニング

Embodied Zero-Shot Task Planning via Hardware-Aware LLM-VLM Integration for Grounded Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

LLMに記号的なタスク計画のみを生成させ、座標や把持姿勢などの物理的判断は決定論的モジュールが担うことで、実機制約を尊重したゼロショット操作を実現するフレームワークを提案。

詳しい要約

1. どんなもの?

- シミュレーション環境(NVIDIA Isaac Sim)内のFranka Research 3ロボットを対象とした、ハードウェアを考慮したLLM-VLMマニピュレーションフレームワーク。 - 自然言語指示から記号的なタスク計画を生成し、決定論的なグラウンディングと実行モジュールが物理的に実行可能な動作を生成する。 - 記号推論とメトリック実行を分離し、LLMとVLMは座標や把持姿勢などを生成しない。

2. 先行研究と比べてどこがすごい?

- 従来のLLMによるマニピュレーション計画は、ロボットの身体性、ワークスペース形状、到達可能性、衝突制約、把持可能性を考慮した物理的に接地された決定が困難であった。 - 本手法は、LLMとVLMを記号推論に限定し、決定論的モジュールが物理的制約を処理することで、この問題に対処する。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は?

- APIホスト型LLMプランナーが構造化シーン要約を受け取り、操作対象、目標関係、アプローチ選好、回避対象などの記号的情報のみを生成。 - ローカルQwen3-VL 8B VLM検証器が曖昧な物体や開いた容器の代理物の意味的確認を支援。 - LLMとVLMはロボット座標、把持姿勢、キープアウト寸法、グリッパコマンド、軌道ウェイポイント、成功ラベルを生成禁止。 - 決定論的グラウンディング・実行モジュールがロボットモデル、シーン形状、MoveIt 2衝突チェック、逆運動学、把持検証、リリース検証、最終視覚評価を用いて決定。 - 実行フィードバックは記号的文脈としてのみ再計画に返される。

4. どうやって有効だと検証した?

- シミュレーションのデジタルツイントライアルで評価。 - タスクはピックアップ、遮蔽された供給源へのアクセス、キープアウト推論、関係配置、逐次マニピュレーションを含む。 - 有効性の定量的指標やベースラインとの比較は要旨からは不明。

5. 議論はある?

- 議論や限界、課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、MoveIt 2、NVIDIA Isaac Sim、Qwen3-VL 8B、LLMベースのタスクプランニング、VLMベースの検証が挙げられる。 - 同分野の定番として、SayCan、Code as Policies、Inner Monologueなどが考えられるが、要旨に記載はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lonnie Tankersley, Noorbakhsh Amiri Golilarz, Soroush Korivand

分類: cs.RO, cs.AI

原文アブストラクト

Large language models can translate natural-language instructions into plausible manipulation plans, but robotic execution requires physically grounded decisions that respect robot embodiment, workspace geometry, reachability, collision constraints, and grasp feasibility. This paper presents a hardware-aware large language model-vision-language model (LLM-VLM) manipulation framework for a simulated Franka Research 3 robot in NVIDIA Isaac Sim. The framework separates symbolic reasoning from metric execution: an API-hosted LLM planner receives a structured scene summary and generates only symbolic task information, including the object to manipulate, target relation, approach preference, and objects to avoid. A local Qwen3-VL 8B VLM verifier supports semantic confirmation of ambiguous objects and open-container surrogates. Both the LLM planner and the VLM verifier are prohibited from generating robot coordinates, grasp poses, keepout dimensions, gripper commands, trajectory waypoints, or success labels. Instead, these decisions are handled by deterministic grounding and execution modules that use the robot model, scene geometry, MoveIt 2 collision checking, inverse kinematics, grasp validation, release verification, and final visual assessment. Execution feedback is returned only as symbolic context for replanning. The framework is evaluated through simulated digital-twin trials involving pickup, occluded-source access, keepout reasoning, relation placement, and sequential manipulation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI