マルチエージェント・インコンテキスト学習による双腕ロボット操作

- 本論文は、Bimanual Robot Manipulation を対象とした BiCICLe (Bimanual Coordinated In-Context Learning) を提案する。 - LLM の In-Context Learning (ICL) を用いて、fine-tuning なしで few-shot の bimanual manipulation を実現する初のフレームワーク。 - bimanual control を multi-agent leader-follower 問題として定式化し、action space を sequential で conditioned な single-arm prediction に分解する。 - TWIN benchmark の 13 タスクで評価し、平均成功率 70.5% を達成。 - 実世界でも 3 タスクで hardware-specific retraining なしに優れた性能を示す。

- 従来の ICL を用いた embodied control は主に single-arm を対象とし、bimanual manipulation では高次元 joint action space と tight inter-arm coordination constraints が context window を圧迫する問題があった。 - BiCICLe は standard LLM を fine-tuning せずに few-shot bimanual manipulation を可能にした初のフレームワーク。 - TWIN benchmark において、最高の training-free baseline を 6.1 ポイント上回り、ほとんどの supervised 手法をも凌駕する。 - 実世界タスクでも hardware-specific retraining なしに優れた性能を発揮する点が先行研究と異なる。

- bimanual control を multi-agent leader-follower 問題として捉え、action space を sequential で conditioned な single-arm prediction に分解する。 - これにより、高次元 joint action space と tight inter-arm coordination constraints を context window 内で扱いやすくする。 - standard LLM を off-the-shelf で用い、task-specific training や fine-tuning を必要としない。 - ICL の generalization 能力を保持しつつ、few-shot で bimanual manipulation を実現する。

- TWIN benchmark の 13 タスクで評価を実施。 - 平均成功率 70.5% を達成し、最高の training-free baseline を 6.1 ポイント上回った。 - ほとんどの supervised 手法を超える性能を示した。 - 実世界でも 3 タスクにおいて、hardware-specific retraining なしに優れた性能を実証した。

- 要旨からは、手法の限界や失敗事例、計算コスト、context window の制約に関する具体的な議論は不明。 - 実世界タスクは 3 タスクのみで、より多様なタスクへの汎化性やロバスト性については言及されていない。 - 比較対象の supervised 手法の詳細や、training-free baseline の内訳も要旨からは不明。

- 要旨で参照/比較されている研究: TWIN benchmark、training-free baseline、supervised methods。 - 関連手法として、In-Context Learning (ICL) を用いた embodied control や LLM による robot action prediction の研究が挙げられる。 - 同分野の定番として、bimanual manipulation のための imitation learning や reinforcement learning の手法も次に読むべき候補。