マニピュレーション2026/1/1arXiv:2601.11460

人間の実演からロボットの行動計画へ：双腕マニピュレーションのための意味幾何学的タスク表現

Semantic-Geometric Task Representations for Bimanual Manipulation from Human Demonstrations to Robot Action Planning

人間の実演から物体間の意味関係と運動履歴をグラフで表現し、行動予測と運動生成を組み合わせて双腕ロボットのタスクを計画・実行する手法を提案。

詳しい要約

1. どんなもの？

人間のdemonstrationからbimanual manipulationのための構造化されたtask representationを学習する手法。object identity、inter-object semantic relation、per-object motion historyをsemantic-geometric graphとして統合し、MPNN encoderとTransformer decoderでaction orderingやobject involvementの変動に対応する。

2. 先行研究と比べてどこがすごい？

単純なsequence-based modelと比べ、action orderingやobject involvementのtask variabilityが大きいほど構造化semantic-geometric representationの利点が増大。graph ablation、Transformer、decoder-only、finetuned vision-language model baselineを上回る。

3. 技術・手法の肝は？

encoderはtemporal scene graphのみで動作しaction labelから切り離されたtask-agnostic representationを生成。decoderはaction-contextに条件付けられfuture action、associated object、object motionを予測。小規模robot datasetでのdecoder-only finetuningによりembodiment間でencoderを再利用。

4. どうやって有効だと検証した？

2つのdatasetの11のbimanual taskで評価。deploymentではplannerがactionとmotion predictionをlearned Probabilistic Movement Primitivesと結合し、2つのreal-robot bimanual taskでfull task successを達成。

5. 議論はある？

task variabilityが大きいほど構造化表現の利点が増すことを示す。encoderのembodiment間再利用が可能。real-robotでの成功とbaseline比較を報告。

6. 次に読むべき論文は？

Message Passing Neural Network (MPNN)、Transformer、Probabilistic Movement Primitives、vision-language model、temporal scene graph、bimanual manipulationの関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Franziska Herbert, Vignesh Prasad, Han Liu, Dorothea Koert, Georgia Chalvatzaki

分類: cs.RO, cs.LG

原文アブストラクト

Learning structured task representations from human demonstrations is essential for bimanual manipulation, where action ordering, object involvement, and interaction geometry vary significantly across executions. A key challenge lies in jointly capturing the discrete semantic task structure and the temporal evolution of object-centric geometric relations in a form that supports reasoning over task progression. We introduce a semantic--geometric graph-based task representation that jointly encodes object identities, inter-object semantic relations, and per-object motion histories, via a Message Passing Neural Network (MPNN) encoder and a Transformer-based decoder. The encoder operates solely on the temporal scene graph, producing structured representations decoupled from action labels. The decoder then conditions on action-context to forecast future actions, associated objects, and object motions. This decoupling learns task-agnostic representations, enabling encoder reuse across embodiments through decoder-only finetuning on a small robot dataset. Across eleven bimanual tasks from two datasets, we find that the benefit of structured semantic--geometric representations over simpler sequence-based models grows with task variability in action ordering and object involvement. At deployment, a planner couples the action and motion predictions with learned Probabilistic Movement Primitives, achieving full task success on two real-robot bimanual tasks and outperforming graph ablations, Transformer, decoder-only, and finetuned vision-language model baselines.

arXivで原文を読む →arXiv概要ページ

人間の実演からロボットの行動計画へ：双腕マニピュレーションのための意味幾何学的タスク表現

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell