日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.12105

DAM-VLA: 非同期マルチモーダル視覚言語行動モデル

DAM-VLA: Decoupled Asynchronous Multimodal Vision Language Action model

シェア:XThreadsFacebookLINEはてブBluesky

各モダリティをセンサー固有のレートで処理する非同期VLAモデルを提案し、接触の多い実世界操作タスクで成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

- 物理インタラクション向けの VLA モデル DAM-VLA を提案。 - 視覚・言語・高頻度センサを同一クロックで処理する同期型 VLA の問題を指摘。 - モダリティごとに時間処理を分離し、各センサレートで更新・保持する。 - 接触の多い実世界 7 タスクで 100 Hz の滑らかな制御を実現。

2. 先行研究と比べてどこがすごい?

- 従来 VLA は vision-language pretraining 由来の同期クロックを継承。 - 遅いモダリティを過剰サンプリングし、速いモダリティを過少サンプリング。 - 行動生成が最低実効周波数に制限される。 - DAM-VLA は最強同期ベースラインの平均成功率を 2 倍以上に改善(95.2% vs 40.95%)。

3. 技術・手法の肝は?

- モダリティごとの latent buffer をセンサレートで更新。 - action head がバッファを連続的に読み取る。 - 高頻度モダリティを gated cross-attention で統合。 - 事前学習済み backbone は変更せず保持。

4. どうやって有効だと検証した?

- 接触の多い実世界マニピュレーション 7 タスクで評価。 - 最強同期ベースラインと平均成功率を比較(95.2% vs 40.95%)。 - 100 Hz の滑らかで反応的な制御を持続できることを確認。

5. 議論はある?

- 同期 VLA の時間的ミスアラインメントを仮説として提示。 - モダリティごとの分離処理が表現と制御の頑健性を高めると主張。 - 限界や失敗事例、計算コストなどの詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) モデル、vision-language pretraining、gated cross-attention を挙げる。 - 同分野の定番として RT-1、RT-2、OpenVLA などが考えられるが要旨には記載なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pankhuri Vanjani, Zhuoyue Li, Jakub Suliga, Moritz Reuss, Gianluca Geraci, Xinkai Jiang, Rudolf Lioutikov

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Vision-language-action (VLA) models inherit a shared synchronous clock from vision-language pretraining, processing every input at one rate. This is misaligned with physical interaction, where a high-frequency modality changes at hundreds of hertz, vision evolves more slowly, and language stays constant across an episode. A synchronous VLA oversamples slow modalities, undersamples fast ones, and caps action generation at the lowest effective frequency. We hypothesize that decoupling temporal processing per modality, letting each update and retain information at its own sensor rate, yields stronger representations and more robust control. We present DAM-VLA, which maintains per-modality latent buffers refreshed at sensor rates and read continuously by the action head, integrating new high-frequency modalities through gated cross-attention that leaves the pretrained backbone intact. Across seven contact-rich real-world manipulation tasks, DAM-VLA more than doubles the average success rate of the strongest synchronous baseline (95.2\% vs.\ 40.95\%) while sustaining smooth, reactive 100\,Hz control. Project website: \href{https://intuitive-robots.github.io/DAM-VLA/}{intuitive-robots.github.io/DAM-VLA/}

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI