日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2605.09989

ステレオポリシー：ステレオ知覚によるロボット操作ポリシーの改善

StereoPolicy: Improving Robotic Manipulation Policies via Stereo Perception

シェア:XThreadsFacebookLINEはてブBluesky

ステレオ画像ペアを直接利用して3次元幾何推論を強化する視覚運動ポリシー学習フレームワークを提案し、シミュレーションと実ロボットの操作タスクで性能を向上させた。

詳しい要約

1. どんなもの？

- ロボットの模倣学習における視覚運動ポリシー（visuomotor policy）の改善手法。 - 単眼観察では奥行き情報が不足し、雑然とした環境や幾何学的に複雑なシーンでの精密操作が困難。 - 明示的なdepth mapやpoint cloudはノイズが多く実世界で脆弱。 - 同期したステレオ画像ペアを直接活用し、明示的な3D表現を構築せずに幾何学的推論を強化するフレームワーク。 - 事前学習済み2D視覚エンコーダで各画像を処理し、cross-attentionベースのStereo Transformerで左右特徴を融合。 - 空間対応とdisparity cueを暗黙的に捉える。 - diffusion-basedポリシーや事前学習済みVLAポリシーと統合可能。

2. 先行研究と比べてどこがすごい？

- RGB、RGB-D、point cloud、multi-viewのベースラインと比較して一貫した改善を実現。 - 明示的なdepth mapやpoint cloudを使わず、ステレオ画像ペアから直接幾何学的推論を行う点が新しい。 - 2D事前学習表現と3D幾何学的理解を橋渡しする。 - 3つのシミュレーションベンチマークと7つの実ロボットタスクで有効性を確認。

3. 技術・手法の肝は？

- 同期したステレオ画像ペアを入力。 - 各画像を事前学習済み2D視覚エンコーダで処理。 - cross-attentionベースのStereo Transformerで左右特徴を融合。 - 空間対応とdisparity cueを暗黙的に捕捉。 - 明示的な3D表現（depth mapやpoint cloud）を構築しない。 - diffusion-basedポリシーやVLAポリシーと統合可能。

4. どうやって有効だと検証した？

- 3つのシミュレーションベンチマークで評価。 - 7つの実ロボット卓上および両腕移動操作タスクで評価。 - RGB、RGB-D、point cloud、multi-viewベースラインと比較。 - 一貫した改善を確認。

5. 議論はある？

- ステレオ視覚が2D事前学習表現と3D幾何学的理解を橋渡しすることを示す。 - 明示的な3D表現のノイズや脆弱性を回避できる可能性。 - 具体的な限界や失敗ケース、計算コスト、リアルタイム性に関する議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：RGB、RGB-D、point cloud、multi-viewベースライン、diffusion-basedポリシー、VLAポリシー。 - 関連手法：imitation learning、visuomotor policy、Stereo Transformer、cross-attention。 - 同分野の定番：Behavior Cloning、ACT、Diffusion Policy、RT-1、RT-2など。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Evans Han, Yunfan Jiang, Yingke Wang, Haoyue Xiao, Huang Huang, Jianwen Xie, Jiajun Wu, Li Fei-Fei, Ruohan Zhang

分類: cs.RO, cs.CV

原文アブストラクト

Recent advances in robot imitation learning have produced powerful visuomotor policies that manipulate diverse objects from visual inputs. However, monocular observations lack depth information, which is critical for precise manipulation in cluttered or geometrically complex scenes. Explicit depth maps and point clouds are often noisy and fragile in real-world manipulation. We introduce StereoPolicy, a visuomotor policy learning framework that directly leverages synchronized stereo image pairs to improve geometric reasoning without constructing explicit 3D representations. StereoPolicy processes each image with pretrained 2D vision encoders and fuses left-right features through a cross-attention-based Stereo Transformer, capturing spatial correspondence and disparity cues implicitly. The framework integrates with diffusion-based and pretrained vision-language-action (VLA) policies, delivering consistent improvements over RGB, RGB-D, point cloud, and multi-view baselines across three simulation benchmarks and seven real-robot tabletop and bimanual mobile manipulation tasks. Our results show that stereo vision bridges 2D pretrained representations and 3D geometric understanding for robotic manipulation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →