日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.29577

逆動力学学習による視覚言語行動モデルの状態エイリアシング緩和

Mitigating State Aliasing in Vision-Language-Action Models via Inverse Dynamics Learning

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルにおいて、視覚的に類似した状態が異なる行動を必要とする問題(状態エイリアシング)を、逆動力学学習を補助目的として導入することで緩和する手法を提案した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルにおける state aliasing 問題を緩和する手法を提案。 - VLA は視覚と言語を統合しロボット操作を実現するが、VLM 由来の表現は低レベル制御に必要な微妙な視覚的差異に鈍感で、見た目が似ているが異なる行動を要する状態を混同する。 - この問題に対し、inverse dynamics learning を補助目的として導入し、VLA の vision encoder を直接監督する。 - 現在と未来の観測間の行動を予測することで、微細な視覚的区別を捉えるよう促す。 - さらに pseudo-reversed supervision を用いて、限られたロボットデモンストレーション下での汎化を改善。 - 標準的な観測-行動ペアのみを使用し、追加アノテーション不要で、テスト時には元の推論パイプラインを保持。

2. 先行研究と比べてどこがすごい?

- 従来の VLA 研究は future frames、2D grounding points、traces、中間空間推論ステップなどの視覚・推論出力を生成して視覚理解を改善。 - しかしこれらの目的は通常、end-to-end 予測を通じて vision encoder を間接的にしか形成せず、学習された視覚特徴空間における state aliasing を明示的に分析しない。 - 提案手法は inverse dynamics learning を補助目的として vision encoder を直接監督し、state aliasing を緩和する点が新しい。 - また、pseudo-reversed supervision により、限られたデモデータでも多様な行動方向に曝露し汎化を向上させる。 - 多様な VLA ベースラインに適用可能で、追加アノテーション不要、推論パイプラインを変更しない。

3. 技術・手法の肝は?

- inverse dynamics learning を補助目的として導入:現在の観測と未来の観測の間の行動を予測。 - これにより vision encoder が低レベル行動を決定する微細な視覚的区別を捉えるよう直接監督。 - pseudo-reversed supervision を使用:逆方向の行動ペアを擬似的に生成し、より広範な行動方向に encoder を曝露。 - 限られたロボットデモンストレーション下での汎化を改善。 - 標準的な観測-行動ペアのみを使用し、追加アノテーション不要。 - テスト時には元の推論パイプラインを保持。

4. どうやって有効だと検証した?

- CALVIN ABC-D と SimplerEnv での実験により、多様な VLA ベースラインで一貫した性能向上を確認。 - Frozen-encoder probing と state-feature alignment 分析により、提案手法が state-discriminative な視覚表現を学習し、state aliasing を低減し、ロボット状態変化とより整合することを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:future frames、2D grounding points、traces、中間空間推論ステップを生成する先行 VLA 研究。 - 関連手法:inverse dynamics learning、pseudo-reversed supervision。 - データセット:CALVIN ABC-D、SimplerEnv。 - 同分野の定番:Vision-Language-Action (VLA) モデル、Vision-Language Models (VLMs)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kyujin Lee, Injae Kim, Jihwan Park, Yejun Ju, Minseok Joo, Hyunwoo J. Kim

分類: cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models have emerged as a promising framework that unifies perception, reasoning, and control for robot manipulation by adapting pretrained vision-language models (VLMs) to action prediction. However, VLM-derived representations are often insensitive to subtle visual distinctions required for low-level control, causing state aliasing between visually similar states that require substantially different actions. Prior VLA studies improve visual understanding by generating visual or reasoning outputs, such as future frames, 2D grounding points or traces, or intermediate spatial reasoning steps, but these objectives typically shape the vision encoder only indirectly through end-to-end prediction and do not explicitly analyze state aliasing in the learned visual feature space. To mitigate state aliasing, we introduce inverse dynamics learning as an auxiliary objective that directly supervises the VLA vision encoder. By predicting the action between current and future observations, our objective encourages the encoder to capture fine-grained visual distinctions that determine low-level actions. We further use pseudo-reversed supervision to expose the encoder to a broader range of action directions and improve generalization under limited robot demonstrations. Our method applies to diverse VLA baselines, uses only standard observation-action pairs without additional annotations, and preserves the original inference pipeline at test time. Experiments on CALVIN ABC-D and SimplerEnv show consistent gains across diverse VLA baselines. Frozen-encoder probing and state-feature alignment analyses further show that our method learns state-discriminative visual representations that reduce state aliasing and better align with robot state changes.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI