日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2606.10899

MV-Actor: 両腕操作のためのマルチビュー意味論と空間認識の整合

MV-Actor: Aligning Multi-View Semantics and Spatial Awareness for Bimanual Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

両腕ロボット操作のためのマルチビュー認識フレームワークを提案し、視点間の意味共有と空間認識を強化して、シミュレーションと実機で高い成功率を達成した。

詳しい要約

1. どんなもの?

- 両腕マニピュレーションのためのマルチビュー知覚フレームワークMV-Actorを提案。 - 複数カメラの視点から情報を統合し、統一的な意味空間表現を構築。 - シミュレーションと実世界で評価し、PerAct2ベンチマークで平均成功率87.8%を達成。

2. 先行研究と比べてどこがすごい?

- 既存のマルチビューポリシーは各視点を独立にエンコードするか、浅く融合するため、意味知覚の共有と空間認識が不十分。 - MV-Actorは視点間で意味知覚を共有し、信頼性の高い空間認識を実現。 - シミュレーションで最先端の成功率を達成し、実世界でもRGBおよびRGB-Dベースラインを上回る。

3. 技術・手法の肝は?

- Multi-view Semantic Interactionにより視点間で意味知覚を共有。 - Semantic-Spatial Token Interactionにより視覚意味をフィードフォワード再構成モデル特徴と接地し、信頼性の高い空間認識を獲得。 - Guided Metric Depth Repairモジュールにより、劣化したセンサ深度を補正し、民生用深度ノイズ下で信頼性の高いメトリックアンカーを提供。

4. どうやって有効だと検証した?

- シミュレーション実験:PerAct2両腕ベンチマークで平均成功率87.8%を達成。 - 実世界評価:視点変化が頻繁で不安定な民生用深度環境下で、RGBおよびRGB-Dベースラインを上回る性能を確認。

5. 議論はある?

- 意味知覚の共有と信頼性の高い空間認識が両腕マニピュレーションに有益であることを示唆。 - 民生用深度ノイズへの対処が実世界性能に寄与。 - 具体的な限界や議論は要旨からは不明。

6. 次に読むべき論文は?

- PerAct2ベンチマーク(両腕マニピュレーション) - マルチビューポリシー(既存手法) - フィードフォワード再構成モデル - RGB-Dベースライン

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yinchen Tian, Huan Li, Muyao Peng, Xi Wang, Yan Wang, You Yang

分類: cs.RO

原文アブストラクト

Robotic manipulation has been widely applied in industrial scenarios. Compared with single-arm manipulation, bimanual manipulation is equipped with multiple cameras to capture information from different viewpoints. However, existing multi-view policies encode each view independently or fuse view features shallowly, resulting in limited sharing semantic perception and unreliable spatial awareness. In this paper, we propose \textbf{MV-Actor}, a multi-view perception framework that builds a unified semantic-spatial representation for bimanual manipulation. First, MV-Actor performs Multi-view Semantic Interaction to share semantic perception across views. Then it uses Semantic-Spatial Token Interaction to ground visual semantics with feed-forward reconstruction model features and acquire reliable spatial awareness. Finally, a Guided Metric Depth Repair module refines degraded sensor depth to provide more reliable metric anchors under consumer-grade depth noise. In simulation experiments conducted on the PerAct2 bimanual benchmark, MV-Actor achieves a state-of-the-art average success rate of 87.8\%. In real-world evaluations with more frequent viewpoint changes and unstable consumer-grade depth, MV-Actor outperforms both RGB and RGB-D baselines, further demonstrating the benefit of sharing semantic perception and reliable spatial awareness for bimanual manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI