双腕操作/言語フィードバック/適応2026/3/1arXiv:2603.26466

言う通りに適応せよ：人間の言語フィードバックによるオンライン対話的双腕スキル適応

Adapt as You Say: Online Interactive Bimanual Skill Adaptation via Human Language Feedback

オフライン学習した双腕スキルを、人間の言語フィードバックを用いてゼロショットでオンライン適応させるフレームワークBiSAILを提案。階層的な推論と拡散変調により、タスク変化に応じた動作調整を実現し、実機実験で有効性を示した。

詳しい要約

1. どんなもの？

- 人間の言語フィードバックを用いて、オフライン学習済みの双腕スキルをオンラインでゼロショット適応させるフレームワーク「BiSAIL」を提案。 - 階層的な「reason-then-modulate」パラダイムを採用し、多様なタスク変化から一般化された適応目標を推論し、拡散モデルによる動作変調で双腕動作を適応させる。 - 実ロボット実験で6つの双腕タスクと2つの双腕プラットフォームにわたり、人間参加型適応性、タスク一般化、クロスエンボディメント拡張性で既存手法を大幅に上回る。 - 非専門家ユーザーが直感的な口頭修正でカスタマイズ可能な適応型双腕アシスタントの開発を可能にする。

2. 先行研究と比べてどこがすごい？

- 既存手法と比較して、人間参加型適応性、タスク一般化、クロスエンボディメント拡張性において大幅に優れる。 - オフライン学習済みの双腕スキルをゼロショットでオンライン適応できる点が新しい。 - 言語フィードバックを対話的に用いることで、非専門家でも直感的に修正可能。 - 具体的な先行研究名は要旨からは不明。

3. 技術・手法の肝は？

- 階層的な「reason-then-modulate」パラダイムを採用。 - 多モーダルなタスク変化から一般化された適応目標を推論する。 - 推論された目標を達成するために、拡散モデルによる動作変調（diffusion modulation）で双腕動作を適応させる。 - 言語フィードバックを対話的に利用する。

4. どうやって有効だと検証した？

- 実ロボット実験を6つの双腕タスクと2つの双腕プラットフォームで実施。 - 人間参加型適応性、タスク一般化、クロスエンボディメント拡張性の指標で既存手法と比較し、BiSAILが大幅に優れることを示した。 - 実験動画とコードは https://rip4kobe.github.io/BiSAIL/ で公開。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、diffusion policy、language-conditioned imitation learning、bimanual manipulation、human-in-the-loop learning などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhuo Li, Dianxi Li, Tao Teng, Quentin Rouxel, Zhipeng Dong, Dennis Hong, Darwin Caldwell, Fei Chen

分類: cs.RO

原文アブストラクト

Developing general-purpose robots capable of autonomously operating in human living environments requires the ability to adapt to continuously evolving task conditions. However, adapting high-dimensional coordinated bimanual skills to novel task variations at deployment remains a fundamental challenge. In this work, we present BiSAIL (Bimanual Skill Adaptation via Interactive Language), a novel framework that enables zero-shot online adaptation of offline-learned bimanual skills through interactive language feedback. The key idea of BiSAIL is to adopt a hierarchical reason-then-modulate paradigm, which first infers generalized adaptation objectives from multimodal task variations, and then adapts bimanual motions via diffusion modulation to achieve the inferred objectives. Extensive real-robot experiments across six bimanual tasks and two dual-arm platforms demonstrate that BiSAIL significantly outperforms existing methods in human-in-the-loop adaptability, task generalization and cross-embodiment scalability. This work enables the development of adaptive bimanual assistants that can be flexibly customized by non-expert users via intuitive verbal corrections. Experimental videos and code are available at https://rip4kobe.github.io/BiSAIL/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧