日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.15717

推論時の想像:ロバストな視覚運動ポリシー推論のためのハンド内視点の合成

Imagination at Inference: Synthesizing In-Hand Views for Robust Visuomotor Policy Inference

シェア:XThreadsFacebookLINEはてブBluesky

ロボットにハンド内カメラがない場合でも、拡散モデルを用いてエージェント視点からハンド内視点を想像することで、視覚運動ポリシーの性能低下を回復させる手法を提案。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションにおける visuomotor policy 推論のための手法 - in-hand(egocentric)視点の観察を、agent 視点から推論時に『想像』する試み - novel view synthesis (NVS) を用い、agent 視点と in-hand 視点カメラ間の相対 pose を条件とした diffusion model で合成 - ハードウェア制約・システム複雑性・コストで in-hand カメラを搭載できない場合の代替を狙う - 実世界では Unitree Z1 による strawberry picking タスクで評価

2. 先行研究と比べてどこがすごい?

- in-hand カメラ無しでも、推論時に in-hand 視点を合成して policy 性能を補う点が特徴 - 事前学習済み NVS モデル ZeroNVS を LoRA-based fine-tuning でロボット操作ドメインに適応 - 相対 pose を条件にした diffusion model による新規視点合成を policy 推論に組み込む - 合成 in-hand 視点が、実 in-hand カメラ欠如による性能低下を実質的に回復できることを示す - ハードウェアに依存しないスケーラブルで軽量な解決策を提示

3. 技術・手法の肝は?

- novel view synthesis (NVS) により agent 視点から in-hand 視点を推論時に生成 - 事前学習済み NVS モデル ZeroNVS をベースに採用 - agent 視点カメラと in-hand 視点カメラ間の相対 pose を条件として diffusion model を制御 - LoRA-based fine-tuning で ZeroNVS をロボットマニピュレーション領域へ適応 - 合成した in-hand 観察を visuomotor policy の推論入力として利用

4. どうやって有効だと検証した?

- シミュレーションベンチマーク RoboMimic と MimicGen で評価 - 実世界実験として Unitree Z1 ロボットアームによる strawberry picking タスクで検証 - 合成 in-hand 視点が policy 推論を有意に改善することを確認 - 実 in-hand カメラ不在による性能低下を効果的に回復できると報告 - 詳細な比較条件や指標は要旨からは不明

5. 議論はある?

- in-hand カメラ搭載のハードウェア制約・複雑性・コスト課題に対する代替案を提示 - 推論時の『想像的知覚』という枠組みの有効性を示唆 - 合成視点の品質や、実カメラとのギャップに関する議論は要旨からは不明 - 失敗事例や限界、計算コストの詳細は要旨からは不明 - embodied agent における想像的視覚推論の可能性に言及

6. 次に読むべき論文は?

- ZeroNVS(ベースとなる事前学習済み NVS モデル) - LoRA(fine-tuning 手法) - RoboMimic(シミュレーションベンチマーク) - MimicGen(シミュレーションベンチマーク) - novel view synthesis (NVS) および diffusion model 関連の視点合成研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoran Ding, Anqing Duan, Zezhou Sun, Dezhen Song, Yoshihiko Nakamura

分類: cs.RO

原文アブストラクト

Visual observations from different viewpoints can significantly influence the performance of visuomotor policies in robotic manipulation. Among these, egocentric (in-hand) views often provide crucial information for precise control. However, in some applications, equipping robots with dedicated in-hand cameras may pose challenges due to hardware constraints, system complexity, and cost. In this work, we propose to endow robots with imaginative perception - enabling them to 'imagine' in-hand observations from agent views at inference time. We achieve this via novel view synthesis (NVS), leveraging a fine-tuned diffusion model conditioned on the relative pose between the agent and in-hand views cameras. Specifically, we apply LoRA-based fine-tuning to adapt a pretrained NVS model (ZeroNVS) to the robotic manipulation domain. We evaluate our approach on both simulation benchmarks (RoboMimic and MimicGen) and real-world experiments using a Unitree Z1 robotic arm for a strawberry picking task. Results show that synthesized in-hand views significantly enhance policy inference, effectively recovering the performance drop caused by the absence of real in-hand cameras. Our method offers a scalable and hardware-light solution for deploying robust visuomotor policies, highlighting the potential of imaginative visual reasoning in embodied agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI