日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.08392

ST-BiBench:双腕身体性タスクにおけるマルチストリーム・マルチモーダル協調のMLLMベンチマーク

ST-BiBench: Benchmarking Multi-Stream Multimodal Coordination in Bimanual Embodied Tasks for MLLMs

シェア:XThreadsFacebookLINEはてブBluesky

双腕ロボットの身体性タスクを対象に、マルチモーダル大規模言語モデルの時空間的なマルチストリーム協調能力を評価する多層ベンチマークST-BiBenchを提案し、30以上のモデルを評価して高次推論と細粒度実行の乖離を明らかにした。

詳しい要約

1. どんなもの?

- MLLMsのembodied AIにおけるbimanual coordination評価用ベンチマーク - ST-BiBenchはmulti-stream multimodal integrationを評価する多層フレームワーク - Strategic Coordination Planning, Foundational Spatial Grounding, Fine-Grained Action Controlの3層 - 30以上のSOTA MLLMsを評価しcoordination paradoxを発見

2. 先行研究と比べてどこがすごい?

- 従来のembodied AI評価は単一ストリームや単腕タスクが中心 - 本手法は複数のaction/perception streamsの時空間調整を評価 - proximity paradoxやcoordination paradoxなど新たな失敗モードを特定 - 高次戦略推論と細粒度物理実行のギャップを定量的に示す

3. 技術・手法の肝は?

- Strategic Coordination Planningで複数ストリームのcross-modal reasoningを評価 - Foundational Spatial Groundingでworkspace awarenessとarm-selection logicを検証 - Fine-Grained Action Controlで16-Dim連続action modalityの直接合成を調査 - 多層評価によりmulti-stream fusionとcross-modal alignmentのボトルネックを分析

4. どうやって有効だと検証した?

- 30以上のstate-of-the-art MLLMsをST-BiBenchで評価 - coordination paradoxの存在を実証 - frontier MLLMsがlogic-driven strategyに優れる一方、perception-logic disconnectionやmulti-stream interferenceを示す - 評価結果からmulti-stream multimodal fusionの課題を特定

5. 議論はある?

- coordination paradox:高次戦略推論と細粒度物理実行の間に大きなギャップ - proximity paradox:意味的に整合した計画が空間的視覚入力と一致しない - perception-logic disconnectionとmulti-stream interferenceがmultimodal fusionで頻発 - これらのボトルネックが複雑なembodiedタスクの障壁となる

6. 次に読むべき論文は?

- 要旨からは不明(参照/比較された特定の研究が明記されていない) - 同分野の定番:RT-1, RT-2, PaLM-E, Embodied AI benchmarks (e.g., RLBench, CALVIN)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xin Wu, Zhixuan Liang, Yue Ma, Mengkang Hu, Zhiyuan Qin, Xiu Li

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Multimodal Large Language Models (MLLMs) have significantly advanced the landscape of embodied AI, yet transitioning to synchronized bimanual coordination introduces formidable challenges in multi-stream multimodal integration. We introduce ST-BiBench, a comprehensive multi-tier framework for evaluating spatio-temporal multimodal coordination. Our approach centers on Strategic Coordination Planning, assessing high-level cross-modal reasoning over multiple action and perception streams. To investigate the "proximity paradox"-where semantically coherent plans fail to align with spatially grounded visual inputs-we incorporate Foundational Spatial Grounding to verify workspace awareness and arm-selection logic. Furthermore, we probe model frontiers through Fine-Grained Action Control, investigating whether MLLMs can directly synthesize high-dimensional continuous action modalities (16-Dim) from complex multimodal metadata. Evaluating 30+ state-of-the-art MLLMs, we uncover a persistent and pervasive "coordination paradox"-a significant gap between high-level strategic reasoning and fine-grained physical execution. Results reveal that while frontier MLLMs excel at logic-driven strategy, they frequently suffer from perception-logic disconnection and multi-stream interference during multimodal fusion. ST-BiBench provides a platform for identifying critical bottlenecks in multi-stream multimodal fusion and cross-modal alignment for complex embodied tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI