日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

双腕操作/VLAarXiv:2606.20285

Co-VLA: 双腕ビジョン・ランゲージ・アクションシステムのための協調認識型構造化アクションモデリング

Co-VLA: Coordination-Aware Structured Action Modeling for Dual-Arm Vision-Language-Action Systems

シェア:XThreadsFacebookLINEはてブBluesky

双腕ロボット操作において、明示的な協調構造をVLAモデルに導入し、共有・残差潜在変数と制御器により信頼性と解釈可能性を向上させるフレームワークを提案した。

詳しい要約

1. どんなもの?

- 双腕ロボット操作のための Vision-Language-Action (VLA) モデル - 明示的な構造事前分布を導入する協調認識型フレームワーク Co-VLA を提案 - 単一の action head を Structured Action Expert (SAE) に置き換え - 共有潜在と残差潜在でタスク意図と各腕の調整を表現 - 展開時に Latent-Aware Controller (LAC) で同期・非対称性・滑らかさ・安全性を調整

2. 先行研究と比べてどこがすごい?

- 従来の end-to-end 学習による暗黙的な協調では不十分 - 密結合タスクや実行制約下で信頼性・解釈性・安定性に課題 - Co-VLA は明示的な構造事前分布を導入し、モノリシックなベースラインを大幅に上回る - 密協調タスクで成功率 27% 向上、OOD 実世界で 13%→27% と倍増、完了時間最大 25% 短縮

3. 技術・手法の肝は?

- 最先端の vision-language backbone に Structured Action Expert (SAE) を組み込む - モジュール式の coordination-aware loss で共有潜在と残差潜在をタスク構造に沿って形成 - 共有潜在はタスクレベルの協調意図、残差潜在は各腕の実行調整を符号化 - 展開時に Latent-Aware Controller (LAC) が学習表現を解釈し、同期強度・実行非対称性・滑らかさ・安全制約をリアルタイム調整 - LAC は関節コマンドレベルで動作し、力制御やインピーダンス制御を必要とせず標準制御パイプラインと互換

4. どうやって有効だと検証した?

- シミュレーションと実世界ベンチマークで評価 - モノリシックベースラインと比較し、密協調タスクで成功率 27% 向上 - OOD 実世界シナリオで性能が 13% から 27% へ倍増 - タスク完了時間を最大 25% 短縮

5. 議論はある?

- 暗黙的協調の限界を指摘し、明示的構造の重要性を議論 - 解釈性・安定性・信頼性の向上を主張 - 力制御やインピーダンス制御なしで標準制御と互換性がある点を強調 - 具体的な限界や失敗事例、計算コスト、スケーラビリティに関する議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法として Vision-Language-Action (VLA) モデル、双腕操作の end-to-end 学習、モノリシックな action head を持つベースラインが挙げられる - 同分野の定番として RT-1, RT-2, OpenVLA などの VLA モデルや、ACT, Diffusion Policy などの模倣学習手法が考えられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yandong Wang, Jiaqian Yu, Xiongfeng Peng, Lu Xu, Yamin Mao, Weiming Li, Jaewook Yoo, Dongwook Lee, Daehyun Ji, Mingbo Zhao, Chao Zhang

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) models show strong capabilities in single and dual-arm robotic manipulation. Prior works show coordinated bimanual behaviors can emerge from end-to-end learning, leveraging large vision-language backbones with continuous action prediction. However, as bimanual tasks become tightly coupled and execution constraints become critical, implicit coordination alone is insufficient to ensure reliable, interpretable, and stable behavior. In this work, we propose Co-VLA, a coordination-aware bimanual manipulation framework introducing explicit structural priors into VLA models. We instantiate our method on a state-of-the-art vision-language backbone by replacing its monolithic action head with a Structured Action Expert (SAE) designed for bimanual coordination. Specifically, we introduce explicit structure at the action generation level with a modular coordination-aware loss that shapes shared and residual latents according to task-specific structures. The shared latent encodes task-level coordination intent, while residual latents capture execution adjustments for each arm. At deployment, a Latent-Aware Controller (LAC) interprets the learned representations to modulate synchronization strength, execution asymmetry, smoothness, and safety constraints in real time. LAC operates at the joint-command level and remains compatible with standard control pipelines without requiring force or impedance control. Experiments across simulation and real-world benchmarks show Co-VLA significantly outperforms monolithic baselines, achieving a 27% success rate gain in tight-coordination tasks, more than doubling performance in OOD real-world scenarios (from 13% to 27%), and reducing task completion time by up to 25%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI