日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2610.16355

PINT: ロボットマニピュレーションのための共有予測意図を持つ統合モデル

PINT: A Unified Model with Shared Predictive Intent for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

VLM・動画生成モデル・行動生成を「予測意図」トークンで橋渡しし、各専門家の経路を保ちながら統合したロボット操作モデル。実機事前学習なしで分布外汎化を大幅改善。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための統合モデル PINT を提案 - VLM の意味推論と VGM の世界モデリングを統合 - 共有 chunk-level Predictive Intent で意味推論・世界モデリング・行動生成を協調 - 専門家ごとの経路は保持 - 実世界両手タスク5種でも評価

2. 先行研究と比べてどこがすごい?

- 既存の統合モデルは複数層で shared attention により直接融合 - そのため VLM/VGM の専門能力を活かしにくい問題 - PINT は expert-specific pathways を保持しつつ Predictive Intent で協調 - embodied pretraining なしで ID 性能と OOD 汎化を大幅改善 - RoboTwin 2.0-Hard で 15.5%(Fast-WAM 1.8%、StarVLA 3.2%) - LIBERO-Plus で 79.5%(51.5%、75.0%)

3. 技術・手法の肝は?

- 共有 chunk-level Predictive Intent を導入 - VLM 系列に learnable Intent Tokens を挿入して表現を形成 - この表現が VGM と Action Expert (AE) を条件付け - VGM の prompt conditioning のみ置換し、推論時も VGM を保持 - AE は one-way attention で VGM 表現を読む - Predictive Intent の内容は規定せず、VLM/VGM/AE の native prediction objectives から共同学習 - 2段階訓練:Stage 1 は VGM を凍結し未来動画予測で Intent を形成、Stage 2 は Intent を固定し VGM と AE を適応

4. どうやって有効だと検証した?

- RoboTwin 2.0-Hard と LIBERO-Plus で評価 - 実世界両手タスク5種でも検証 - 結果:RoboTwin 2.0-Hard 15.5%、LIBERO-Plus 79.5% - 実世界:ID 68%、OOD 24% - 比較:pretrained Motus 35%/9%、pretrained π_{0.5} 67%/35% - embodied pretraining なしで強い ID 性能と OOD 汎化を確認

5. 議論はある?

- 既存統合モデルの shared attention 融合は専門能力活用を妨げる可能性 - PINT は専門経路を保持しつつ Predictive Intent で協調する設計 - Predictive Intent の内容を事前規定せず学習に委ねる点が特徴 - 2段階訓練の有効性が示唆される - ただし要旨からは限界や失敗事例、計算コスト、スケーリング性の議論は不明

6. 次に読むべき論文は?

- Fast-WAM - StarVLA - Motus - π_{0.5} - VLM と VGM を統合した generalist robot manipulation の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyu Guo, Chao Jing, Li Yi, Xingyu Chen, Zhengxing Wu

分類: cs.RO

原文アブストラクト

Generalist robot manipulation can benefit from pretrained vision-language models (VLMs) for semantic reasoning and video generation models (VGMs) for world modeling. However, existing unified models that directly fuse them through shared attention at multiple layers can make it harder to draw on their specialized capabilities. We introduce PINT, a unified model that coordinates semantic reasoning, world modeling, and action generation through a shared chunk-level Predictive Intent while preserving expert-specific pathways. PINT inserts learnable Intent Tokens into the VLM sequence to form this representation, conditioning both the VGM and an Action Expert (AE). It replaces only the VGM's prompt conditioning and retains the VGM at inference, where the AE reads its representations through one-way attention. Rather than prescribing what Predictive Intent should encode, PINT learns it jointly from the native prediction objectives of the VLM, VGM, and AE, which provide complementary views of the same upcoming task execution. Training uses two stages: Stage 1 freezes the VGM so that future video prediction shapes Predictive Intent with task-relevant future dynamics, while Stage 2 fixes the learned Intent and adapts the VGM and AE. Without embodied pretraining, PINT achieves strong in-distribution (ID) performance and substantially improves out-of-distribution (OOD) generalization, reaching 15.5% on RoboTwin 2.0-Hard compared with 1.8% for Fast-WAM and 3.2% for StarVLA, and 79.5% on LIBERO-Plus compared with 51.5% and 75.0%, respectively. Across five real-world bimanual tasks, PINT reaches 68% ID and 24% OOD success, compared with 35%/9% for pretrained Motus and 67%/35% for pretrained $π_{0.5}$.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI