日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.13053

Dynin-Robotics: オムニモーダル統合拡散視覚言語行動モデル

Dynin-Robotics: Omnimodal Unified Diffusion Vision-Language-Action Model

シェア:XThreadsFacebookLINEはてブBluesky

言語・視覚・目標・行動を離散トークンで統合したマスク拡散モデルにより、行動予測と未来状態予測を同時に学習し、テスト時スケーリングでロボット政策の性能を向上させる。

詳しい要約

1. どんなもの?

- 言語条件付きロボットポリシーのための統合拡散VLAモデル - 視覚目標予測とダイナミクス予測を行動生成・選択に統合 - 共有trajectory model上で実現 - 基盤はDynin-Omni - omnimodal masked-diffusion backbone - 言語・視覚観測・目標・行動を離散トークン化 - 同一モデルで複数タスクを学習 - 行動予測 - 行動条件付き次観測予測 - 終端目標状態予測 - trajectory-to-instruction reconstruction - test-time scalingをサポート - 目標予測 - 行動候補評価 - 行動と未来状態予測のjoint refinement

2. 先行研究と比べてどこがすごい?

- 視覚目標予測とダイナミクス予測を行動生成・選択に統合する点が新しい - 共有trajectory modelを介して実現 - 単一のomnimodal masked-diffusion backboneで複数目的を学習 - 従来の個別モデルではなく統合 - test-time scalingを目標予測・行動候補評価・joint refinementで実現 - 大規模データでの継続事前学習 - 約1.33 million trajectories - 48 Open X-Embodiment datasets - 下流タスクへの適応を別々に実施 - 具体的な先行研究との比較は要旨からは不明

3. 技術・手法の肝は?

- Dynin-Omni: omnimodal masked-diffusion backbone - 言語・視覚観測・目標・行動を離散トークンとして表現 - 条件付けとターゲットスパンを変えることで同一モデルが複数タスクを学習 - 行動予測 - 行動条件付き次観測予測 - 終端目標状態予測 - trajectory-to-instruction reconstruction - test-time scaling - 目標予測 - 行動候補評価 - 行動と未来状態予測のjoint refinement - 継続事前学習 - 約1.33 million trajectories - 48 Open X-Embodiment datasets - 下流ドメインへの個別適応 - 最適化されたblock-parallel実装 - モデル側行動デコードを最大29.2x高速化

4. どうやって有効だと検証した?

- VLABenchの2タスクで評価 - ロボット事前学習が固定Stage-2ステップ予算内での適応を改善 - 完全な目的混合がPolicy-only post-trainingよりshifted-instruction成功を改善 - 目標ガイダンスとjoint action-next-state denoisingの組み合わせ - action-only decodingよりshifted-instruction成功を改善 - 利点は予測の構成方法に依存 - LIBEROとzero-shot LIBERO-Plusで競争力のある性能 - Franka Research 3ロボットで4つの操作条件にわたり平均78.4%の成功率 - 最適化されたblock-parallel実装 - 報告されたプロファイリング設定下でベース実装比最大29.2xの行動デコード高速化

5. 議論はある?

- 共有trajectory modelingが補完的なロボット目的の学習と制御時の予測構成の共通インターフェースとして支持される - 目標ガイダンスとjoint action-next-state denoisingの利点は予測の構成方法に依存 - 具体的な議論や限界は要旨からは不明

6. 次に読むべき論文は?

- Open X-Embodiment datasets - VLABench - LIBERO - LIBERO-Plus - Franka Research 3 - Policy-only post-training - action-only decoding - その他の関連研究は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hoeun Lee, Jaeik Kim, Jusang Oh, Jinhyeok Kim, Geon Choi, Hyeonggeun Kim, Jaeyoung Do

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Visual goal and dynamics prediction can provide language-conditioned robot policies with both a target outcome and a representation of action-dependent scene changes. We bring these predictions into action generation and selection through a shared trajectory model. Dynin-Robotics implements this formulation on Dynin-Omni, an omnimodal masked-diffusion backbone, representing language, visual observations, goals, and actions as discrete tokens. By varying conditioning and target spans, the same model learns action prediction, action-conditioned next-observation prediction, terminal goal-state prediction, and trajectory-to-instruction reconstruction. These interfaces support test-time scaling through goal prediction, action-candidate evaluation, and joint refinement of action and future-state predictions. We continually pretrain the model on approximately 1.33 million trajectories from 48 Open X-Embodiment datasets and adapt it separately to downstream domains. On two VLABench tasks, robot pretraining improves adaptation within a fixed Stage-2 step budget, and the full objective mixture improves shifted-instruction success over Policy-only post-training under the same coupled decoder. Combining goal guidance with joint action-next-state denoising further improves shifted-instruction success over action-only decoding; the benefit depends on how the predictions are composed. Dynin-Robotics achieves competitive performance on LIBERO and zero-shot LIBERO-Plus, together with a 78.4% average success rate across four manipulation conditions on a Franka Research 3 robot. An optimized block-parallel implementation accelerates model-side action decoding by up to 29.2x relative to the base implementation under the reported profiling setup. These results support shared trajectory modeling as a common interface for learning complementary robot objectives and composing their predictions during control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI