日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.17885

PEAfowl: 知覚強化型マルチビュー視覚-言語-行動モデルによる両腕マニピュレーション

PEAfowl: Perception-Enhanced Multi-View Vision-Language-Action for Bimanual Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

両腕ロボット操作のためのVLAモデル。トークンごとの深度分布予測と微分可能な3Dリフティングで視点間の幾何学的整合性を高め、Perceiver型のテキスト認識読み出しで指示の接地を改善。訓練時のみの深度蒸留でノイズの多い深度を補い、RoboTwin 2.0で成功率を23ポイント向上させた。

詳しい要約

1. どんなもの?

- 両手操作(bimanual manipulation)のための知覚強化型マルチビューVLAポリシー「PEAfowl」 - 混雑シーンでの遮蔽・視点・シーン変動に頑健な操作を目指す - 空間推論と指示グラウンディングの両面を強化 - 学習時のみのdepth distillationでノイズの多いdepthを補う - RoboTwin 2.0と実機で検証

2. 先行研究と比べてどこがすごい?

- 既存VLAはマルチビュー特徴をview-agnosticなtoken concatenationで融合し、3D一貫性が弱い - 言語をglobal conditioningとして注入するため指示グラウンディングが粗い - PEAfowlはper-token depth分布予測と微分可能3D liftingで幾何的に接地したcross-view一貫表現を形成 - global conditioningをPerceiver-style text-aware readoutに置換し反復的なevidence蓄積を実現 - 最強baselineをRoboTwin 2.0で23.0 pp上回る

3. 技術・手法の肝は?

- 空間推論: per-token depth分布を予測し、differentiable 3D liftingを実行 - 局所的なcross-view近傍を集約し、幾何的に接地したcross-view一貫表現を構築 - 指示グラウンディング: 凍結CLIP視覚特徴上でPerceiver-style text-aware readoutを適用 - global conditioningを廃し、反復的evidence蓄積を可能に - 学習時のみのdepth distillation: 事前学習済みdepth teacherからdepth-distribution headを監督 - 推論時オーバーヘッドを増やさずgeometry-aware priorを付与

4. どうやって有効だと検証した?

- RoboTwin 2.0のdomain-randomized設定で評価 - 最強baselineに対し成功率23.0 pp改善 - 実機実験でsim-to-real転移の信頼性を確認 - depth distillationによる一貫した改善を実機で確認

5. 議論はある?

- 要旨からは不明(限界や失敗事例、計算コスト、depth teacher依存性などの議論は記述されていない)

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてVLAモデル、CLIP、Perceiver、depth distillation、RoboTwin 2.0が挙げられる - 同分野の定番としてRT-1、RT-2、OpenVLA、ACT、Diffusion Policyなどが次に読む候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qingyu Fan, Zhaoxiang Li, Yi Lu, Wang Chen, Qiu Shen, Xiao-xiao Long, Yinghao Cai, Tao Lu, Shuo Wang, Xun Cao

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Bimanual manipulation in cluttered scenes requires policies that remain stable under occlusions, viewpoint and scene variations. Existing vision-language-action models often fail to generalize because (i) multi-view features are fused via view-agnostic token concatenation, yielding weak 3D-consistent spatial understanding, and (ii) language is injected as global conditioning, resulting in coarse instruction grounding. In this paper, we introduce PEAfowl, a perception-enhanced multi-view VLA policy for bimanual manipulation. For spatial reasoning, PEAfowl predicts per-token depth distributions, performs differentiable 3D lifting, and aggregates local cross-view neighbors to form geometrically grounded, cross-view consistent representations. For instruction grounding, we propose to replace global conditioning with a Perceiver-style text-aware readout over frozen CLIP visual features, enabling iterative evidence accumulation. To overcome noisy and incomplete commodity depth without adding inference overhead, we apply training-only depth distillation from a pretrained depth teacher to supervise the depth-distribution head, providing perception front-end with geometry-aware priors. On RoboTwin 2.0 under domain-randomized setting, PEAfowl improves the strongest baseline by 23.0 pp in success rate, and real-robot experiments further demonstrate reliable sim-to-real transfer and consistent improvements from depth distillation. Project website: https://peafowlvla.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI