日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/圧縮arXiv:2606.16253

視覚言語行動モデルのための学習型画像圧縮

Learned Image Compression for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAロボットの制御性能を保ちつつ帯域を節約するため、カメラ視点や空間領域ごとの重要度に応じてビットレートを適応配分する学習型画像圧縮フレームワークSPARCを提案した。

詳しい要約

1. どんなもの?

- VLAモデル向けの学習型画像圧縮フレームワークSPARCを提案。 - 高頻度マルチカメラ観測がボトルネックとなる帯域制約下のロボット制御を対象。 - 視覚情報の重要度がカメラ視点と画像内空間領域で大きく異なる点に着目。 - 下流VLAポリシーの制御性能を保つことを目的とする。

2. 先行研究と比べてどこがすごい?

- 既存の画像/動画コーデックは汎用的な視覚忠実度を保つ設計で、VLAポリシーの制御性能を考慮しない。 - 最近の学習型圧縮手法と比較しても、同一ビットレート予算下で一貫して強い制御性能を達成。 - 帯域制約・分散配置環境での実時間ロボット制御に適する点が優位。

3. 技術・手法の肝は?

- 軽量なtemporal mask selectorを採用し、タスク関連度に応じてlatent表現へ適応的にビットレートを配分。 - 時間的文脈を活用する。 - tilted rate lossを導入し、エントロピー目的が稀だがタスク上重要な視覚パターンを過剰抑制する傾向を低減して学習を安定化。

4. どうやって有効だと検証した?

- RoboCasa365、VLABench、LIBEROを含む多様なロボティクスベンチマークで実験。 - 同一ビットレート予算下で従来の画像/動画コーデックおよび最近の学習型圧縮手法より一貫して強い制御性能を示す。 - 遠隔操作設定での実世界展開において、ビットレートと成功率のトレードオフを大幅改善。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、一般化性に関する議論は要旨に記載なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:既存の画像/動画コーデック、最近の学習型圧縮手法。 - 関連手法:VLAモデル、RoboCasa365、VLABench、LIBERO。 - 同分野の定番:learned image compression、video codec、vision-language-action models。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hyeonjun Kim, Jegwang Ryu, Sangbeom Ha, Junhyeok Lee, Jun-Hyuk Kim, Hyemin Ahn, Jaeho Lee

分類: cs.CV, cs.AI

原文アブストラクト

Vision-language-action (VLA) models increasingly rely on high-frequency multi-camera observations, making visual communication a major bottleneck for real-time robotic control in bandwidth-constrained or distributed deployment settings. Existing image and video codecs, however, are designed to preserve generic visual fidelity rather than the control performance of downstream VLA policies. In this work, we introduce SPARC (SPatially Adaptive Rate Control), a learned image compression framework tailored for VLA-driven robots. Our key observation is that the importance of visual information varies substantially across both camera views and spatial regions within an image. Based on this observation, SPARC employs a lightweight temporal mask selector that adaptively allocates bitrate over latent representations according to task relevance while leveraging temporal context. We further introduce a tilted rate loss that stabilizes training by reducing the tendency of entropy-based objectives to over-suppress rare yet task-critical visual patterns. Experiments on diverse robotic benchmarks, including RoboCasa365, VLABench, and LIBERO, show that SPARC consistently achieves stronger control performance than conventional image/video codecs and recent learned compression methods under the same bitrate budget. We additionally demonstrate real-world deployment benefits in remote-control settings, where our method substantially improves the bitrate-success tradeoff.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI