マニピュレーション2026/4/1arXiv:2604.21914

VistaBot: 時空間認識ビュー合成による視点ロバストなロボット操作

VistaBot: View-Robust Robot Manipulation via Spatiotemporal-Aware View Synthesis

カメラ視点の変化にロバストなロボット操作を実現するため、幾何モデルとビデオ拡散モデルを統合したフレームワークVistaBotを提案。テスト時のカメラ校正不要で、シミュレーションと実世界で性能を検証した。

詳しい要約

1. どんなもの？

- カメラ視点変化に頑健なロボットマニピュレーションを実現するフレームワーク「VistaBot」を提案。 - feed-forward geometric modelsとvideo diffusion modelsを統合し、テスト時にカメラキャリブレーション不要で閉ループ操作を可能にする。 - 4D geometry estimation、view synthesis latent extraction、latent action learningの3要素から構成。 - action-chunking (ACT)とdiffusion-based ($\pi_0$)ポリシーに統合され、シミュレーションと実世界タスクで評価。 - 新指標View Generalization Score (VGS)を導入し、視点間汎化を包括的に評価。

2. 先行研究と比べてどこがすごい？

- 従来のend-to-endロボットマニピュレーションモデルは固定カメラでの訓練時に視点変化への頑健性が限定的。 - VistaBotはテスト時のカメラキャリブレーションを不要にし、視点変化に頑健な閉ループ操作を実現。 - ACTと$\pi_0$に対してVGSをそれぞれ2.79倍、2.63倍改善。 - 高品質なnovel view synthesisも同時に達成。

3. 技術・手法の肝は？

- feed-forward geometric modelsとvideo diffusion modelsを統合。 - 4D geometry estimation：時空間的な幾何情報を推定。 - view synthesis latent extraction：視点合成の潜在表現を抽出。 - latent action learning：潜在空間での行動学習。 - これらをACTおよび$\pi_0$ポリシーに統合。

4. どうやって有効だと検証した？

- シミュレーションと実世界タスクの両方で評価。 - 新指標View Generalization Score (VGS)を導入し、クロスビュー汎化を包括的に評価。 - ACTと$\pi_0$に対してVGSがそれぞれ2.79倍、2.63倍向上。 - 高品質なnovel view synthesisも達成。 - 多様な環境での広範な検証を実施。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- action-chunking (ACT) - diffusion-based ($\pi_0$) policies - feed-forward geometric models - video diffusion models

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Songen Gu, Yuhang Zheng, Weize Li, Yupeng Zheng, Yating Feng, Xiang Li, Yilun Chen, Pengfei Li, Wenchao Ding

分類: cs.RO

原文アブストラクト

Recently, end-to-end robotic manipulation models have gained significant attention for their generalizability and scalability. However, they often suffer from limited robustness to camera viewpoint changes when training with a fixed camera. In this paper, we propose VistaBot, a novel framework that integrates feed-forward geometric models with video diffusion models to achieve view-robust closed-loop manipulation without requiring camera calibration at test time. Our approach consists of three key components: 4D geometry estimation, view synthesis latent extraction, and latent action learning. VistaBot is integrated into both action-chunking (ACT) and diffusion-based ($\pi_0$) policies and evaluated across simulation and real-world tasks. We further introduce the View Generalization Score (VGS) as a new metric for comprehensive evaluation of cross-view generalization. Results show that VistaBot improves VGS by 2.79$\times$ and 2.63$\times$ over ACT and $\pi_0$, respectively, while also achieving high-quality novel view synthesis. Our contributions include a geometry-aware synthesis model, a latent action planner, a new benchmark metric, and extensive validation across diverse environments. The code and models will be made publicly available.

arXivで原文を読む →arXiv概要ページ

VistaBot: 時空間認識ビュー合成による視点ロバストなロボット操作

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell