日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

両腕操作/VLAarXiv:2606.13279

選択的に見て適応的に動く:両腕ロボット操作のための二重レベル構造分解

See Selectively, Act Adaptively: Dual-Level Structural Decomposition for Bimanual Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

両腕ロボット操作において、視覚情報の重要度と腕の協調パターンが状況に応じて変化する問題に対し、視覚ルータと行動MoEによる二重レベルの構造分解を導入したVLAフレームワークを提案し、シミュレーションと実機で性能を向上させた。

詳しい要約

1. どんなもの?

- 両腕ロボット操作のための Vision-Language-Action (VLA) フレームワーク。 - Dual-Level Structural Decomposition を採用。 - View-Selective Visual Router と Interaction-Aware Action Mixture-of-Experts (MoE) から構成。 - タスク段階や文脈に応じて視覚情報の関連性が変化し、両腕の相互作用が独立/協調モード間で移行する問題に対処。 - 単一の共有表現と行動生成経路を持つ monolithic VLA の限界を克服することを目指す。

2. 先行研究と比べてどこがすごい?

- 既存の monolithic VLA ポリシーは多様な視覚入力と相互作用パターンを単一の共有表現と行動生成経路で処理し、視覚的関連性と両腕相互作用構造を分離して扱えない。 - 提案手法は視覚選択と両腕相互作用構造の明示的分解を同時に行う点で異なる。 - シミュレーションで monolithic ベースライン比 27.7%、実世界で 43.3% の平均成功率向上を達成。 - 単一モジュール変種よりも一貫して優れる。

3. 技術・手法の肝は?

- View-Selective Visual Router が wrist-view の寄与を動的に調整し、関連する視覚手がかりを強調。 - Interaction-Aware Action Mixture-of-Experts (MoE) が行動生成を協調経路と腕ごとの経路に分解し、両腕相互作用モードに適応。 - 二段階の構造分解により、視覚関連性と両腕相互作用構造を別々に考慮。 - これらを統合した VLA フレームワーク。

4. どうやって有効だと検証した?

- RoboTwin 2.0 の 6 つのシミュレーション両腕操作タスクで評価。 - 3 つの長期的実世界タスクでも評価。 - monolithic ベースラインに対する平均成功率向上:シミュレーションで 27.7%、実世界で 43.3%。 - 単一モジュール変種よりも両設定で一貫して優れることを確認。

5. 議論はある?

- 視覚選択処理と両腕相互作用構造の明示的分解を jointly に考慮することが、堅牢な両腕操作のための有効な inductive bias を提供することを示唆。 - 具体的な限界や失敗事例、計算コスト、一般化性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:monolithic VLA ポリシー、単一モジュール変種。 - 関連手法:Vision-Language-Action (VLA)、Mixture-of-Experts (MoE)。 - データセット/ベンチマーク:RoboTwin 2.0。 - 同分野の定番:両腕操作のための VLA ポリシー、視覚ルーティング、行動 MoE に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yoon-Ji Choi, Young-Chae Son, Soo-Chul Lim

分類: cs.RO

原文アブストラクト

In bimanual robotic manipulation, task-relevant visual information varies with the task stage and context, while the interaction of the two arms shifts between independent and coordinated modes, making policy learning challenging. However, existing monolithic Vision-Language-Action (VLA) policies process diverse visual inputs and interaction patterns through a single shared representation and action generation pathway, often failing to separately account for visual relevance and bimanual interaction structure. To address this issue, we propose a bimanual manipulation VLA framework based on Dual-Level Structural Decomposition. The View-Selective Visual Router dynamically adjusts wrist-view contributions to emphasize relevant visual cues, while the Interaction-Aware Action Mixture-of-Experts (MoE) decomposes action generation into coordinated and arm-wise pathways to adapt to varying bimanual interaction modes. We evaluate the proposed method on six simulated bimanual manipulation tasks in RoboTwin 2.0 and three long-horizon real-world tasks. Our model improves the overall average success rate over a monolithic baseline by 27.7% in simulation and 43.3% in real-world evaluation, while consistently outperforming single-module variants across both settings. These results demonstrate that jointly considering selective visual processing and explicit decomposition of bimanual interaction structures provides an effective inductive bias for robust bimanual manipulation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI