日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.17684

DINOv3拡散方策:視覚運動拡散方策学習のための自己教師あり大規模視覚モデル

DINOv3-Diffusion Policy: Self-Supervised Large Visual Model for Visuomotor Diffusion Policy Learning

シェア:XThreadsFacebookLINEはてブBluesky

ロボットマニピュレーションの拡散方策において、自己教師あり視覚バックボーンDINOv3が従来のImageNet教師ありResNet-18と同等以上に機能し、サンプル効率と頑健性を向上させることを示した。

詳しい要約

1. どんなもの?

DINOv3という大規模self-supervised vision backboneを、ロボットマニピュレーションのvisuomotor diffusion policy学習に適用し、その有効性を評価する論文。 - 統一的なFiLM-conditioned diffusion policyのbackboneとしてDINOv3を用いる。 - 従来のsupervised ImageNet-pretrained backbone(例: ResNet-18)と比較する。 - 評価はPush-T, Lift, Can, Squareの4 benchmark taskで行う。

2. 先行研究と比べてどこがすごい?

従来のsupervised ImageNet-pretrained backbone(ResNet-18など)と比べ、purely self-supervised encoderの可能性を示す点が特徴。 - finetuned DINOv3は複数タスクでResNet-18に匹敵または上回る。 - frozen DINOv3でも競争力があり、強いtransferable priorを持つことを示唆。 - Canのような難しいタスクでtest-time success rateが最大10%絶対向上。 - Lift, PushT, Squareでは同等(on-the-par)の性能。

3. 技術・手法の肝は?

DINOv3をvisuomotor diffusion policyの知覚front-endとして組み込む。 - ポリシーはFiLM-conditioned diffusion policyで統一。 - 3つの学習regime(training from scratch, frozen, finetuned)で比較。 - self-supervised featuresによるsample efficiencyとrobustnessの改善を検証。

4. どうやって有効だと検証した?

4つのbenchmark task(Push-T, Lift, Can, Square)で評価。 - training from scratch, frozen, finetunedの3 regimeを比較。 - test-time success rateを指標にResNet-18 backboneと比較。 - Canで最大10%絶対向上、Lift/PushT/Squareで同等という結果。

5. 議論はある?

self-supervised large visual modelがaction diffusion policyの有効で汎化可能な知覚front-endになり得ると主張。 - ラベル不要のscalable pretrainingをロボットマニピュレーションでさらに探求する動機づけ。 - 具体的な限界や失敗事例、計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されているResNet-18(supervised ImageNet-pretrained backbone)とDINOv3(self-supervised vision backbone)。 - 関連手法としてFiLM-conditioned diffusion policy。 - 同分野の定番としてvisuomotor diffusion policy(Diffusion Policy)やself-supervised vision transformer(DINO系)も次に読む候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: ThankGod Egbe, Peng Wang, Zhihao Guo, Zidong Chen

分類: cs.CV, cs.RO

原文アブストラクト

This paper evaluates DINOv3, a recent large-scale self-supervised vision backbone, for visuomotor diffusion policy learning in robotic manipulation. We investigate whether a purely self-supervised encoder can match or surpass conventional supervised ImageNet-pretrained backbones (e.g., ResNet-18) under three regimes: training from scratch, frozen, and finetuned. Across four benchmark tasks (Push-T, Lift, Can, Square) using a unified FiLM-conditioned diffusion policy, we find that (i) finetuned DINOv3 matches or exceeds ResNet-18 on several tasks, (ii) frozen DINOv3 remains competitive, indicating strong transferable priors, and (iii) self-supervised features improve sample efficiency and robustness. These results support self-supervised large visual models as effective, generalizable perceptual front-ends for action diffusion policies, motivating further exploration of scalable label-free pretraining in robotic manipulation. Compared to using ResNet18 as a backbone, our approach with DINOv3 achieves up to a 10% absolute increase in test-time success rates on challenging tasks such as Can, and on-the-par performance in tasks like Lift, PushT, and Square.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI