日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.10359

NVSPolicy: 適応的な新規視点合成による汎化可能な言語条件付き政策学習

NVSPolicy: Adaptive Novel-View Synthesis for Generalizable Language-Conditioned Policy Learning

シェア:XThreadsFacebookLINEはてブBluesky

入力画像から情報量の多い視点を選んで新規視点画像を合成し、その特徴を意味特徴と残差特徴に分離して階層的政策ネットワークに入力することで、言語条件付きロボット操作の汎化性能を高めた手法。

詳しい要約

1. どんなもの?

- 言語条件付きロボット操作のための汎化可能な policy learning 手法「NVSPolicy」 - 入力画像から adaptive novel-view synthesis を行い視覚的文脈を補強 - hierarchical policy network と組み合わせて行動を生成 - 対象は未構造環境での robot manipulation - CALVIN と実機ロボットで評価

2. 先行研究と比べてどこがすごい?

- 深層生成モデルの zero-shot 汎化を操作に活かす方向の研究 - 生成画像の visual artifacts と多モーダル特徴統合の非効率が課題だった - NVSPolicy は adaptive な視点選択と合成を policy learning に統合 - cycle-consistent VAE で不完全な合成画像の影響を緩和 - CALVIN で平均成功率 90.4% を達成し recent methods を大きく上回る - 具体的な比較手法名は要旨からは不明

3. 技術・手法の肝は?

- adaptive novel-view synthesis module - 入力画像に対し情報量の多い視点を動的に選択し novel-view 画像を合成 - cycle-consistent VAE 機構 - 視覚特徴を semantic feature と remaining feature に disentangle - hierarchical policy network - semantic feature が high-level meta-skill selection を導く - remaining feature が low-level action estimation を導く - 効率化のための実用的メカニズムを複数提案(詳細は要旨からは不明)

4. どうやって有効だと検証した?

- CALVIN での extensive experiments - 全タスク平均成功率 90.4% で state-of-the-art と報告 - ablation studies - adaptive novel-view synthesis paradigm の重要性を確認 - 実世界 robotic platform での評価 - 実用性を実証

5. 議論はある?

- 生成画像の visual artifacts が課題であり、cycle-consistent VAE で緩和 - 多モーダル特徴の効率的統合を階層的 policy で扱う設計 - 限界や失敗事例、計算コストの詳細は要旨からは不明 - 実機評価の規模や条件の詳細も要旨からは不明

6. 次に読むべき論文は?

- CALVIN benchmark 関連の言語条件付き操作 policy 研究 - novel-view synthesis / view selection を用いたロボット知覚研究 - cycle-consistent VAE や disentangled representation learning - hierarchical policy / meta-skill selection を用いた manipulation 研究 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Le Shi, Yifei Shi, Xin Xu, Tenglong Liu, Junhua Xi, Chengyuan Chen

分類: cs.RO, cs.CV

原文アブストラクト

Recent advances in deep generative models demonstrate unprecedented zero-shot generalization capabilities, offering great potential for robot manipulation in unstructured environments. Given a partial observation of a scene, deep generative models could generate the unseen regions and therefore provide more context, which enhances the capability of robots to generalize across unseen environments. However, due to the visual artifacts in generated images and inefficient integration of multi-modal features in policy learning, this direction remains an open challenge. We introduce NVSPolicy, a generalizable language-conditioned policy learning method that couples an adaptive novel-view synthesis module with a hierarchical policy network. Given an input image, NVSPolicy dynamically selects an informative viewpoint and synthesizes an adaptive novel-view image to enrich the visual context. To mitigate the impact of the imperfect synthesized images, we adopt a cycle-consistent VAE mechanism that disentangles the visual features into the semantic feature and the remaining feature. The two features are then fed into the hierarchical policy network respectively: the semantic feature informs the high-level meta-skill selection, and the remaining feature guides low-level action estimation. Moreover, we propose several practical mechanisms to make the proposed method efficient. Extensive experiments on CALVIN demonstrate the state-of-the-art performance of our method. Specifically, it achieves an average success rate of 90.4\% across all tasks, greatly outperforming the recent methods. Ablation studies confirm the significance of our adaptive novel-view synthesis paradigm. In addition, we evaluate NVSPolicy on a real-world robotic platform to demonstrate its practical applicability.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI