日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.05350

行動基盤モデルにおける最小二乗を超えたタスク推論

Task Inference Beyond Least Squares in Behavioral Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

行動基盤モデルにおいて、報酬再構成誤差と後続測度の不一致をバランスさせる新しいタスク推論手法BLSを提案し、歩行・操作・ヒューマノイド制御で性能を向上させた。

詳しい要約

1. どんなもの?

- Behavioral Foundation Models (BFMs) は、報酬関数からタスクベクトルを推論し、テスト時のポリシー学習なしに多様な下流タスクを解くことを目指す。 - しかし、タスクベクトルの推論に通常の最小二乗法 (OLS) を用いるため、得られるポリシーはしばしば最適でない。 - 本研究では、報酬再構成誤差の最小化と後続測度のミスマッチ低減のバランスを取る効率的なテスト時推論手法 BLS を提案する。

2. 先行研究と比べてどこがすごい?

- 従来の BFM は OLS でタスクベクトルを推論するため、報酬の順序が制約されず、ゼロショットポリシーの後続測度が最適ポリシーから乖離する可能性があった。 - BLS は報酬再構成誤差と後続測度ミスマッチの両方を考慮することで、既存のタスク推論ベースラインを上回る性能を達成。 - 計算オーバーヘッドはごくわずかである。

3. 技術・手法の肝は?

- BLS は、報酬再構成誤差の最小化と後続測度のミスマッチ低減をバランスさせる効率的なテスト時推論手法。 - 理論的には、後続測度残差と報酬関数残差の両方で特徴づけられる劣最適性ギャップの上限を提供。 - 具体的なアルゴリズムの詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 移動、操作、ヒューマノイド制御のベンチマークで、最先端の BFM 上に BLS を適用して評価。 - BLS は既存のタスク推論ベースラインを上回り、計算オーバーヘッドは無視できる程度であることを示した。

5. 議論はある?

- 要旨からは、BLS の限界や議論の詳細は不明。 - 理論的な劣最適性ギャップの上限が示されているが、その厳密性や実用性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Behavioral Foundation Models (BFMs) や後続測度 (successor measure) を用いたタスク推論、最小二乗法 (OLS) ベースの手法が挙げられる。 - 同分野の定番として、強化学習におけるゼロショット政策推論やメタ強化学習の研究が参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kuan-Hsun Tu, Chien-Sheng Chiang, Hsin-Wei Chen, Ping-Chun Hsieh, Tsung-Wei Ke

分類: cs.LG

原文アブストラクト

Behavioral Foundation Models (BFMs) aim to solve a wide range of downstream tasks without test-time policy learning by inferring a task vector from the reward function. While efficient, the retrieved policies are often suboptimal because of how this task vector is inferred, typically with ordinary least squares (OLS). OLS minimizes reward reconstruction error but leaves the ordering of rewards unconstrained, which can bias the successor measure of the retrieved zero-shot policy away from that of the optimal policy. In this work, we propose BLS, an efficient test-time inference method that balances minimizing reward reconstruction error with reducing successor-measure mismatch. Theoretically, we provide a suboptimality gap upper bound characterized by both successor-measure and reward-function residuals. Empirically, we evaluate BLS on top of state-of-the-art BFMs across benchmarks for locomotion, manipulation, and humanoid control. BLS outperforms existing task inference baselines with negligible computational overhead. Project page: https://embodiedai-ntu.github.io/BLS

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI