日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.21723

VLBiMan: 視覚言語基盤による一発実演からの汎化可能な両腕ロボット操作

VLBiMan: Vision-Language Anchored One-Shot Demonstration Enables Generalizable Bimanual Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

人間の1回の実演をタスク分解して不変スキルを抽出し、視覚言語モデルで環境変化に適応させることで、再学習なしに多様な両腕操作タスクへ汎化するフレームワークを提案。

詳しい要約

1. どんなもの?

- VLBiMan は、1回の人間デモンストレーションから汎化可能な両腕ロボット操作を学習するフレームワーク - タスク認識的な分解により再利用可能なスキルを抽出 - 不変なプリミティブをアンカーとして保持し、調整可能な要素を vision-language grounding で動的に適応 - 人間らしい hybrid control を継承し、両腕の同期・非同期の混在利用を可能にする - tool-use や multi-object タスクを含む両腕操作を対象とする

2. 先行研究と比べてどこがすごい?

- 既存の imitation policy learning はタスク変動をカバーするために大量のデモを要する点が課題 - モジュール型手法は動的シーンでの柔軟性に乏しいというジレンマがあった - VLBiMan は単一の人間例からスキルを導出し、デモ要求を大幅に削減 - ポリシーの再学習なしに背景変化・物体再配置・視覚的 clutter に対処 - 原子スキルの接合による compositional generalization と cross-embodiment transfer を実現

3. 技術・手法の肝は?

- 単一の人間デモを task-aware decomposition により分解し、再利用可能なスキルを抽出 - 不変なプリミティブをアンカーとして保持 - 調整可能なコンポーネントを vision-language grounding で適応 - semantic parsing と geometric feasibility constraints を活用してシーンの曖昧性を解消 - ポリシー再学習なしで適応するメカニズム - 両腕の同期・非同期を混在させる hybrid control を継承

4. どうやって有効だと検証した?

- tool-use と multi-object タスクにわたり広範な実験を実施 - imitation ベースラインと比較してデモ要求が大幅に削減されることを示す - 原子スキル接合による長期的タスクでの compositional generalization を実証 - 意味的に類似した新規物体や外乱に対する robustness を確認 - 異なるロボットプラットフォームへの cross-embodiment transfer を再学習なしで示す

5. 議論はある?

- 要旨からは不明(限界や失敗事例に関する明示的な議論は記載されていない) - 単一デモ由来のスキルがどの程度のタスク多様性に耐えるかの範囲は要旨からは不明 - semantic parsing や geometric feasibility constraints の具体的な誤り耐性は要旨からは不明

6. 次に読むべき論文は?

- imitation policy learning の代表的手法(behavior cloning 等) - モジュール型両腕操作手法 - vision-language grounding を用いたロボット操作研究 - cross-embodiment transfer に関する研究 - 原子スキル接合・compositional generalization に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huayi Zhou, Kui Jia

分類: cs.RO

原文アブストラクト

Achieving generalizable bimanual manipulation requires systems that can learn efficiently from minimal human input while adapting to real-world uncertainties and diverse embodiments. Existing approaches face a dilemma: imitation policy learning demands extensive demonstrations to cover task variations, while modular methods often lack flexibility in dynamic scenes. We introduce VLBiMan, a framework that derives reusable skills from a single human example through task-aware decomposition, preserving invariant primitives as anchors while dynamically adapting adjustable components via vision-language grounding. This adaptation mechanism resolves scene ambiguities caused by background changes, object repositioning, or visual clutter without policy retraining, leveraging semantic parsing and geometric feasibility constraints. Moreover, the system inherits human-like hybrid control capabilities, enabling mixed synchronous and asynchronous use of both arms. Extensive experiments validate VLBiMan across tool-use and multi-object tasks, demonstrating: (1) a drastic reduction in demonstration requirements compared to imitation baselines, (2) compositional generalization through atomic skill splicing for long-horizon tasks, (3) robustness to novel but semantically similar objects and external disturbances, and (4) strong cross-embodiment transfer, showing that skills learned from human demonstrations can be instantiated on different robotic platforms without retraining. By bridging human priors with vision-language anchored adaptation, our work takes a step toward practical and versatile dual-arm manipulation in unstructured settings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI