日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.24706

LLM-Handover: タスク指向のロボット-人間間受け渡しのためのLLM活用

LLM-Handover:Exploiting LLMs for Task-Oriented Robot-Human Handovers

シェア:XThreadsFacebookLINEはてブBluesky

LLMによる推論と部位セグメンテーションを組み合わせ、受け渡し後の人間の使用を考慮した把持選択を行うフレームワークを提案。60物体のデータセットを構築し、83%の成功率と86%のユーザー選好を達成。

詳しい要約

1. どんなもの?

- タスク志向の robot-human handover を実現する枠組み「LLM-Handover」の提案 - LLM による推論と part segmentation を統合し、文脈に応じた grasp 選択と実行を行う - 入力は RGB-D 画像とタスク記述で、引き渡し後の使い勝手を最適化する把持を選ぶ - 評価用に 60 物体・12 カテゴリの part ラベル付き新 dataset を導入

2. 先行研究と比べてどこがすごい?

- 既存手法は引き渡し後の人間の行動を軽視し、仮定に依存して汎化性が限られる - 本研究は post-handover の用途を明示的に考慮して grasp を選ぶ点が異なる - 既存の state-of-the-art part segmentation 手法の性能を handover 文脈で改善 - 従来型・非従来型の post-handover タスク双方で適応性が高いと主張

3. 技術・手法の肝は?

- LLM ベースの推論でタスク記述から対象物体の関連 part を推定 - part segmentation と組み合わせ、引き渡し後の usability を最適化する grasp を選択・実行 - RGB-D 画像とタスク記述を入力とするパイプライン - 詳細は要旨からは不明(grasp 候補生成やスコアリングの具体は不明)

4. どうやって有効だと検証した?

- 60 物体・12 カテゴリ、part ラベル付きの新 dataset を構築して評価 - handover 文脈で state-of-the-art part segmentation 手法の性能改善を確認 - grasp 成功率と post-handover タスク制約への適応性を比較評価 - 実機実験で zero-shot 設定 83% の成功率(従来型・非従来型タスク) - user study で 86% のケースで参加者が本手法を選好

5. 議論はある?

- user study により直感的で文脈認識型の handover が可能と示唆 - 一方、失敗事例や限界、zero-shot 設定の詳細条件は要旨からは不明 - dataset の規模(60 物体)やカテゴリ偏りの影響は要旨からは不明 - LLM 推論の誤りや part segmentation 依存のリスクに関する議論は要旨からは不明

6. 次に読むべき論文は?

- 本研究が改善対象とした state-of-the-art part segmentation 手法(具体名は要旨からは不明) - LLM を用いた robot manipulation / task planning の関連研究 - task-oriented grasping および robot-human handover の既存研究 - part segmentation の代表的 dataset・手法(一般名として part segmentation benchmarks 等)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Andreea Tulbure, Rene Zurbruegg, Timm Grigat, Marco Hutter

分類: cs.RO

原文アブストラクト

Effective human-robot collaboration depends on task-oriented handovers, where robots present objects in ways that support the partners intended use. However, many existing approaches neglect the humans post-handover action, relying on assumptions that limit generalizability. To address this gap, we propose LLM-Handover, a novel framework that integrates large language model (LLM)-based reasoning with part segmentation to enable context-aware grasp selection and execution. Given an RGB-D image and a task description, our system infers relevant object parts and selects grasps that optimize post-handover usability. To support evaluation, we introduce a new dataset of 60 household objects spanning 12 categories, each annotated with detailed part labels. We first demonstrate that our approach improves the performance of the used state-of-the-art part segmentation method, in the context of robot-human handovers. Next, we show that LLM-Handover achieves higher grasp success rates and adapts better to post-handover task constraints. During hardware experiments, we achieve a success rate of 83% in a zero-shot setting over conventional and unconventional post-handover tasks. Finally, our user study underlines that our method enables more intuitive, context-aware handovers, with participants preferring it in 86% of cases.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI