日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2603.21051

皮質ポリシー:ロボット操作のための二重ストリームビュートランスフォーマー

Cortical Policy: A Dual-Stream View Transformer for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

静的視点と動的視点の二つのストリームを統合するビュートランスフォーマーを提案し、3D空間理解と動的適応を向上させてロボット操作の性能を大幅に改善した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための新しい視点変換器 - 静的な視点と動的な視点の両方から推論する二重ストリーム構造 - 言語条件付きで空間的に複雑かつ動的に変化するタスクを処理 - 脳の皮質を模倣した設計

2. 先行研究と比べてどこがすごい?

- 既存手法は視点ごとに静的な視覚表現を抽出し、3D空間推論能力と動的適応性が不十分 - 提案手法は静的・動的両ストリームを統合し、これらの課題を克服 - RLBench、COLOSSEUM、実世界タスクで最先端ベースラインを大幅に上回る

3. 技術・手法の肝は?

- 静的ストリーム:事前学習済み3D基盤モデルから抽出した幾何学的に一貫したキーポイントの特徴を整合させ空間理解を強化 - 動的ストリーム:自己中心視点の注視推定モデルの位置認識事前学習により適応的調整を実現(皮質背側経路を計算的に再現) - 両ストリームの相補的な視点表現を統合して最終行動を決定

4. どうやって有効だと検証した?

- RLBench、COLOSSEUMベンチマーク、実世界タスクで評価 - 最先端ベースラインを大幅に上回る性能を実証 - 二重ストリーム設計の優位性を検証

5. 議論はある?

- 皮質に着想を得たフレームワークがロボットマニピュレーションに新たな視点を提供 - 視覚ベースのロボット制御への広範な応用の可能性 - 具体的な限界や議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照されている研究:RLBench、COLOSSEUM、3D foundation model、egocentric gaze estimation model - 関連手法:view transformers、dual-stream architectures

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuening Zhang, Qi Lv, Xiang Deng, Miao Zhang, Xingbo Liu, Liqiang Nie

分類: cs.RO

原文アブストラクト

View transformers process multi-view observations to predict actions and have shown impressive performance in robotic manipulation. Existing methods typically extract static visual representations in a view-specific manner, leading to inadequate 3D spatial reasoning ability and a lack of dynamic adaptation. Taking inspiration from how the human brain integrates static and dynamic views to address these challenges, we propose Cortical Policy, a novel dual-stream view transformer for robotic manipulation that jointly reasons from static-view and dynamic-view streams. The static-view stream enhances spatial understanding by aligning features of geometrically consistent keypoints extracted from a pretrained 3D foundation model. The dynamic-view stream achieves adaptive adjustment through position-aware pretraining of an egocentric gaze estimation model, computationally replicating the human cortical dorsal pathway. Subsequently, the complementary view representations of both streams are integrated to determine the final actions, enabling the model to handle spatially-complex and dynamically-changing tasks under language conditions. Empirical evaluations on RLBench, the challenging COLOSSEUM benchmark, and real-world tasks demonstrate that Cortical Policy outperforms state-of-the-art baselines substantially, validating the superiority of dual-stream design for visuomotor control. Our cortex-inspired framework offers a fresh perspective for robotic manipulation and holds potential for broader application in vision-based robot control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI