日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.21372

NAC: 視覚・言語・行動モデルのためのニューラル行動コーデック

NAC: Neural Action Codec for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの行動軌跡を音声コーデックの技術を応用して圧縮・離散化する新しいトークナイザを提案し、既存手法より高い再構成精度とタスク成功率を達成した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデル向けの離散行動トークナイザ NAC (Neural Action Codec) を提案。 - 短いロボット行動軌道をマルチチャネル1D信号として扱い、Neural Audio Codec の手法を転用。 - 多スケール RVQGAN アーキテクチャで圧縮し、offset codebooks により整序されたトークン空間を提供。 - Vocos 風デコーダ (ISTFT head + adversarial discriminators) で滑らかな軌道を復元。

2. 先行研究と比べてどこがすごい?

- 既存の離散行動トークナイザは圧縮率・遅延・下流性能のトレードオフがあった。 - NAC は音声分野の neural audio codec を再目的化し、このトレードオフを改善。 - binning, FAST, 従来の VQ-based tokenizers と比較して、同等以上の圧縮率で低い再構成誤差と高い成功率を達成。 - 音声固有の mel-spectrogram 目的関数を単純な時間領域・非melスペクトル再構成損失に置換するだけで高忠実度を実現。

3. 技術・手法の肝は?

- 短い行動軌道をマルチチャネル1D信号として扱う。 - 多スケール RVQGAN アーキテクチャを採用し、残差ベクトル量子化で圧縮。 - 音声用の mel-spectrogram 損失は不適切なため、時間領域と非melスペクトル再構成損失に変更。 - offset codebooks によりコンパクトで順序付けられたトークン空間を提供し、標準的な自己回帰ポリシーが短く構造化された系列を扱える。 - Vocos 風デコーダ (ISTFT head と敵対的識別器) で滑らかで詳細な軌道を復元。

4. どうやって有効だと検証した?

- LIBERO-10, RoboMimic, および実世界の操作タスク群で評価。 - 再構成誤差と成功率を測定し、binning, FAST, 従来の VQ-based tokenizers と比較。 - 同等以上の圧縮率でより低い再構成誤差と高い成功率を達成した。

5. 議論はある?

- 音声コーデックの再目的化が VLA の学習された行動トークン化の強力で実用的なバックボーンとなることを示唆。 - 音声固有の mel-spectrogram 目的関数はキネマティック信号に不適切であることを観察。 - アーキテクチャの大幅な変更なしに高忠実度のオートエンコードが可能。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として binning, FAST, 従来の VQ-based tokenizers が挙げられている。 - 基盤技術として neural audio codecs (RVQGAN, Vocos) が参照されている。 - 関連する VLA モデルや行動トークン化の研究を読むべき。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ahad Jawaid, Yu Xiang

分類: cs.RO, cs.LG

原文アブストラクト

Vision-language-action (VLA) models rely on discrete action tokenizers to bridge continuous robot control and autoregressive sequence modeling, yet existing tokenizers often trade off between compression, latency, and downstream performance. We revisit this design through the lens of neural audio codecs-convolutional encoder-decoder architectures with residual vector quantization that serve as the standard front end for audio foundation models. Motivated by their success, we introduce the Neural Action Codec (NAC), which treats short robot action trajectories as multi-channel 1D signals and compresses them using a multi-scale RVQGAN architecture. We observe that audio-specific mel-spectrogram objectives are ill-suited for kinematic signals; however, by replacing them with simple time-domain and non-mel spectral reconstruction losses, audio-codec-style models can autoencode actions with high fidelity without substantial architectural changes. NAC provides a compact, ordered token space via offset codebooks, enabling standard autoregressive policies to operate over short, structured sequences. Meanwhile, a Vocos-style decoder with an ISTFT head and adversarial discriminators recovers smooth, detailed trajectories. Across LIBERO-10, RoboMimic, and a suite of real-world manipulation tasks, NAC achieves lower reconstruction error and higher success rates than binning, FAST, and prior VQ-based tokenizers at comparable or better compression rates. These results demonstrate that repurposed neural audio codecs offer a strong, practical backbone for learned action tokenization in modern VLAs.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI