日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
モバイルマニピュレーションarXiv:2611.04080

FEIJOA: モバイルマニピュレーションのためのタスク駆動型グラウンディングと実行

FEIJOA: Task-Driven Grounding and Execution for Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

言語モデルエージェントがテスト時に指示をグラウンディングし、身体性を考慮した実行検証でロボットの移動操作タスクを遂行する手法を提案。実機Spotで50試行中35タスクを完了した。

詳しい要約

1. どんなもの？

- 移動マニピュレータ向けのタスク駆動型 grounding と実行のフレームワーク FEIJOA の提案 - 指示（例:「おもちゃを箱に片付けて」）を test time に grounding する language-model agent - 事前構築された scene representation に依存せず、指示に必要な属性・affordance・概念をその場で解決 - 対象は Spot 上での実世界 mobile manipulation タスク

2. 先行研究と比べてどこがすごい？

- 従来は指示を知る前に scene representation を構築するため、必要な属性や概念が欠落しうる - FEIJOA は test time に grounding tool を反復クエリして指示を解決 - 103 件の open-ended grounding query で 94.2% を exact 解決、最良の prebuilt representation は 68.0% - 事前表現に頼らず指示駆動で解決する点が優位

3. 技術・手法の肝は？

- language-model agent が posed RGB-D scan 上で grounding tool をクエリ - 返却候補を検査し、指示が解決するまでクエリを refine - embodiment-aware harness が各 skill の precondition を検査 - 目標に到達可能な base pose をサンプリングし、実行前後の観測で skill の effect を検証

4. どうやって有効だと検証した？

- 103 件の open-ended grounding query で exact 解決率を評価（94.2% vs 68.0%） - Spot 上の実世界 50 試行で 35 タスクを完了 - 成功のうち 17 件は failed tool call または verification check からの recovery 後 - 失敗 15 件のうち 13 件はロボットの physical skill 起因、grounding/agent reasoning 起因は 2 件

5. 議論はある？

- 失敗の大半（15 件中 13 件）が physical skill に起因し、grounding や agent の reasoning は主要因でない - 残る課題はロボットの物理スキル側にあることを示唆 - recovery 機構が成功に寄与（35 成功中 17 件） - 詳細な議論や限界の記述は要旨からは不明

6. 次に読むべき論文は？

- 要旨で比較されている prebuilt representation 系の grounding 手法 - grounding tool を用いた language-model agent による指示解決の関連研究 - embodiment-aware な skill precondition 検査・effect 検証の関連研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aditya Agarwal, William Shen, Sahit Chintalapudi, Lucy Cai, Nishanth Kumar, Aidan Curtis, Travis Manderson, Tomás Lozano-Pérez, Leslie Pack Kaelbling

分類: cs.RO

原文アブストラクト

A mobile manipulator asked to "put the toys away in the toy box" must decide which objects are toys and which container the user means, then find base poses, grasps, and placements it can execute. Because a scene representation is built before the instruction is known, it may lack the attributes, affordances, or concepts needed to resolve the task. We present FEIJOA, a language-model agent that grounds the instruction at test time. It queries a grounding tool over a posed RGB-D scan, inspects the returned candidates, and refines its queries until they resolve the instruction. An embodiment-aware harness checks each skill's preconditions, samples base poses from which the target is reachable, and verifies the skill's effect from observations before and after execution. On 103 open-ended grounding queries, FEIJOA resolves 94.2% exactly, compared with 68.0% for the best prebuilt representation. Over 50 real-world trials on Spot, it completes 35 tasks; 17 of these successes follow recovery from a failed tool call or verification check. Of the 15 failed trials, 13 were caused by the robot's physical skills, and only 2 by grounding or the agent's reasoning. Project website: https://williamshen-nz.github.io/feijoa/.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING（GPU搭載BTOゲーミングPC）

OZ GAMING（GPU搭載BTOゲーミングPC）の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →