日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.16407

光学フロー制約によるロバストな潜在行動学習

LAOF: Robust Latent Action Learning with Optical Flow Constraints

シェア:XThreadsFacebookLINEはてブBluesky

エージェントの光学フローを行動信号として活用し、妨害要素に強い潜在行動表現を学習する疑似教師ありフレームワークLAOFを提案。模倣学習と強化学習で既存手法を上回る性能を示した。

詳しい要約

1. どんなもの?

- 大規模動画から latent action を学習する新手法 LAOF を提案する研究。 - 行動ラベルが乏しい状況でも、action-irrelevant な distractor に頑健な latent action 表現を獲得することを狙う。 - optical flow を action-driven な擬似信号として用いる pseudo-supervised framework。 - 下流の imitation learning と reinforcement learning で既存手法を上回ると報告。

2. 先行研究と比べてどこがすごい?

- 既存の latent action 学習は action-irrelevant な distractor に弱い。 - action supervision を加える緩和策は action label の不足により効果が限定的。 - LAOF は optical flow を擬似監督信号に使い、背景を抑え移動物体を強調する点が新しい。 - 極端にラベルが少ない条件で学習を安定化し、latent 表現の品質を改善。 - action supervision なしでも、1 percent の action label で学習した action-supervised 手法に匹敵または上回る。

3. 技術・手法の肝は?

- agent の optical flow を action-driven signal として利用する pseudo-supervised framework。 - optical flow は連続フレーム間の pixel-level motion であり、背景要素を自然に抑制し移動物体を強調。 - これを制約として latent action representation を学習し、distractor への頑健性を高める。 - action label が増える場合も 10 percent まで有効性が持続すると報告。 - 具体的なネットワーク構成や損失の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 下流の imitation learning タスクで評価。 - 下流の reinforcement learning タスクでも評価。 - LAOF の latent 表現が既存手法を上回ることを実験的に示す。 - 極端に label が少ない条件での training 安定性と latent 表現品質の改善を確認。 - action label 比率を 10 percent まで増やしても有効性が持続することを確認。 - action supervision なしで 1 percent の action label 付き action-supervised 手法に匹敵または上回ることを示す。

5. 議論はある?

- optical flow 制約が training を大幅に安定化し、label-scarce 条件下の latent 表現品質を改善する点を議論。 - action label 比率が 10 percent まで増えても有効性が残ることを報告。 - action supervision なしでも 1 percent の action label 付き手法に匹敵または上回る点を強調。 - optical flow の計算コストやノイズ、実環境での限界については要旨からは不明。 - 他の distractor 種別やタスクへの一般化については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている既存の latent action learning 手法(action supervision を用いる手法を含む)。 - optical flow を用いた表現学習・pixel-level motion に基づく手法。 - imitation learning および reinforcement learning における embodied foundation model の pre-training 関連研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xizhou Bu, Jiexi Lyu, Fulei Sun, Ruichen Yang, Zhiqiang Ma, Wei Li

分類: cs.RO

原文アブストラクト

Learning latent actions from large-scale videos is crucial for the pre-training of scalable embodied foundation models, yet existing methods often struggle with action-irrelevant distractors. Although incorporating action supervision can alleviate these distractions, its effectiveness is restricted by the scarcity of available action labels. Optical flow represents pixel-level motion between consecutive frames, naturally suppressing background elements and emphasizing moving objects. Motivated by this, we propose robust Latent Action learning with Optical Flow constraints, called LAOF, a pseudo-supervised framework that leverages the agent's optical flow as an action-driven signal to learn latent action representations robust to distractors. Experimental results show that the latent representations learned by LAOF outperform existing methods on downstream imitation learning and reinforcement learning tasks. This superior performance arises from optical flow constraints, which substantially stabilize training and improve the quality of latent representations under extremely label-scarce conditions, while remaining effective as the proportion of action labels increases to 10 percent. Importantly, even without action supervision, LAOF matches or surpasses action-supervised methods trained with 1 percent of action labels.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI