日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/ナビゲーション/マニピュレーションarXiv:2603.26322

DiffusionAnything: 統一ナビゲーションと把持前動作のためのエンドツーエンド・インコンテキスト拡散学習

DiffusionAnything: End-to-End In-context Diffusion Learning for Unified Navigation and Pre-Grasp Motion

シェア:XThreadsFacebookLINEはてブBluesky

RGB画像のみから、メートル規模のナビゲーションとセンチメートル規模のマニピュレーションを単一モデルで計画する拡散ポリシーを提案。タスクごとに5分の自己教師ありデータで学習し、未知シーンへのゼロショット汎化を実現する。

詳しい要約

1. どんなもの?

- 視覚から直接運動計画を予測する統合的な画像空間拡散ポリシー - メートルスケールのナビゲーションとセンチメートルスケールのマニピュレーションを単一モデルで処理 - RGB入力のみで動作し、メモリ2.0GB、10Hzで実行可能 - タスクごとに5分間の自己教師ありデータのみで学習 - 新規シーンへのゼロショット汎化を実現

2. 先行研究と比べてどこがすごい?

- 従来のVLAモデルは大量の計算資源と訓練データを必要とし、新規シーンでゼロショット失敗 - 本手法は5分の自己教師ありデータで学習し、RGBのみで動作 - 視覚言語モデルや深度センサーを必要とせず、オンボード展開に適する - 単一モデルでナビゲーションとマニピュレーションの両方をカバー

3. 技術・手法の肝は?

- マルチスケール特徴変調による画像空間拡散ポリシー - タスクモード、深度スケール、空間的注意に基づくMulti-scale FiLM条件付け - 生成されたウェイポイントに沿ったメートル法3D推論を行うtrajectory-aligned depth prediction - AnyTraverseによる自己教師あり注意で目標指向推論を実現

4. どうやって有効だと検証した?

- 要旨からは不明(具体的な実験設定や評価指標の記述なし) - 新規シーンへのゼロショット汎化が頑健であると主張

5. 議論はある?

- 要旨からは不明(限界や議論の記述なし)

6. 次に読むべき論文は?

- VLAモデル(Vision-Language-Action models) - AnyTraverse - 拡散ポリシー(Diffusion Policy) - FiLM(Feature-wise Linear Modulation)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Iana Zhura, Yara Mahmoud, Jeffrin Sam, Hung Khang Nguyen, Didar Seyidov, Miguel Altamirano Cabrera, Dzmitry Tsetserukou

分類: cs.RO

原文アブストラクト

Efficiently predicting motion plans directly from vision remains a fundamental challenge in robotics, where planning typically requires explicit goal specification and task-specific design. Recent vision-language-action (VLA) models infer actions directly from visual input but demand massive computational resources, extensive training data, and fail zero-shot in novel scenes. We present a unified image-space diffusion policy handling both meter-scale navigation and centimeter-scale manipulation via multi-scale feature modulation, with only 5 minutes of self-supervised data per task. Three key innovations drive the framework: (1) Multi-scale FiLM conditioning on task mode, depth scale, and spatial attention enables task-appropriate behavior in a single model; (2) trajectory-aligned depth prediction focuses metric 3D reasoning along generated waypoints; (3) self-supervised attention from AnyTraverse enables goal-directed inference without vision-language models and depth sensors. Operating purely from RGB input (2.0 GB memory, 10 Hz), the model achieves robust zero-shot generalization to novel scenes while remaining suitable for onboard deployment.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI