日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2606.12028

VICX: ビデオ生成とインコンテキストオペレータネットワークによる汎用ロボット操作

VICX: Generalizable Robot Manipulation via Video Generation and In-Context Operator Network

シェア:XThreadsFacebookLINEはてブBluesky

凍結したビデオ生成モデルで視覚プランを生成し、それを実行可能な軌道に変換するインコンテキストオペレータネットワークを提案。クロスタスク・クロスエンボディ汎化を実現。

詳しい要約

1. どんなもの?

- 汎化可能なロボットマニピュレーションを目指すフレームワーク VICX を提案。 - 映像生成モデルと In-Context Operator Network を組み合わせた decoupled closed-loop 構成。 - 凍結した video generation model が vision-language 条件付きの高レベル視覚プランを生成。 - Video-to-Trajectory In-Context Operator Network (V2T-ICON) がプランを実行可能な robot-state trajectory に接地。 - タスク意味論とロボット実行の両方で汎化を狙う。

2. 先行研究と比べてどこがすごい?

- 従来の end-to-end 手法と異なり、視覚プラン生成と実行接地を分離した decoupled 設計。 - 凍結した video generation model を活用し、追加学習なしで高レベル計画を得る点が特徴。 - V2T-ICON は task-agnostic なインターフェースとして機能し、パラメータ更新なしで visual-to-state 写像を実現。 - 要旨では具体的な先行研究名や比較数値は示されておらず、優位性の定量的根拠は要旨からは不明。

3. 技術・手法の肝は?

- 凍結した video generation model が vision-language-conditioned な高レベル視覚プランを生成。 - V2T-ICON がその視覚プランを robot-state trajectory に接地する。 - V2T-ICON は segmentation で抽出した arm-only frame observations を入力に用いる。 - 検索した image-state pairs を in-context prompts として利用。 - 推論時にパラメータ更新なしで robust かつ generalizable な visual-to-state mapping を実現。

4. どうやって有効だと検証した?

- Meta-World 上で実験を実施。 - cross-task generalization を確認。 - closed-loop self-correction を確認。 - cross-embodiment transfer を確認。 - これらにより task semantics と robot execution の dual generalization を示した。

5. 議論はある?

- 要旨では限界や失敗事例、計算コスト、リアルロボットでの検証の有無などは明示されていない。 - 議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として video generation を用いた robot manipulation、In-Context Operator Network、Meta-World ベンチマーク、cross-embodiment transfer に関する研究が次に読む候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Song Chen, Linyan Xiang, Ying Zhou, Liu Yang

分類: cs.RO

原文アブストラクト

Generalizable robot manipulation requires not only task-level reasoning over unseen scenes, but also reliable grounding of visual plans into embodiment-specific execution. To bridge this gap, we propose VICX (Video generation and In-Context eXecution), a decoupled closed-loop manipulation framework. In VICX, a frozen video generation model produces vision-language-conditioned high-level visual plans, while a Video-to-Trajectory In-Context Operator Network (V2T-ICON) serves as the task-agnostic interface that grounds these plans into executable robot-state trajectories. To improve execution generalization, V2T-ICON operates on segmentation-extracted arm-only frame observations and uses retrieved image-state pairs as in-context prompts, allowing a robust and generalizable visual-to-state mapping at inference time without parameter updates. Experiments on Meta-World show that VICX supports cross-task generalization, closed-loop self-correction, and cross-embodiment transfer, demonstrating dual generalization across both task semantics and robot execution. The project webpage can be found here: https://scaling-group.github.io/vicx/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI