日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.05878

OGAM: 物体接地型注意監視によるVLAポリシーの体系的テストと実行時保証の接続

OGAM: Connecting Systematic Testing to Runtime Assurance through Object-Grounded Attention Monitoring for VLA Policies

シェア:XThreadsFacebookLINEはてブBluesky

VLAポリシーの失敗時に生じる注意の逸脱を物体マスクで監視し、成功時の注意軌跡とのずれを検出して失敗を早期停止する手法を提案。

詳しい要約

1. どんなもの?

- VLA policiesのためのObject-Grounded Attention Monitoring (OGAM)を提案 - 系統的テストとruntime assuranceを接続する手法 - テストで成功/失敗実行間のattention divergenceを明らかにし、OGAMがその信号を用いて有限のテストスイートを超えた失敗を停止 - 87のout-of-benchmarkケースでOpenVLA, OpenVLA-OFT, UniVLA, π_{0.5}を評価

2. 先行研究と比べてどこがすごい?

- 従来のベンチマークは少数のcanonical instructionsのみをカバー - 網羅的な展開テストは不可能 - OGAMは系統的テストで見つけたattention divergenceをruntime assuranceに活用 - failure-labeled trainingなしで動作 - 4つのポリシーで87-100%の失敗エピソードを停止

3. 技術・手法の肝は?

- アクションテンプレートとオブジェクトのペアワイズ組み合わせでscene-grounded instructionsを生成 - 意味保存のparaphrasesを別途テスト - 各action queryでgradient-weighted visual attentionをobject masksを通して投影し、instruction roleごとにグループ化 - Dynamic time warpingで成功参照とアライメント - 成功エピソードでのconformal calibrationにより早期停止閾値を設定(名目false-stop目標α=0.05)

4. どうやって有効だと検証した?

- 87のout-of-benchmarkケースでOpenVLA, OpenVLA-OFT, UniVLA, π_{0.5}を評価 - 24のfeasible instructionsをいずれも完了できず、infeasible/hazardousリクエストでもbehavior substitutionが発生 - 4ポリシーでOGAMが失敗エピソードの87-100%を停止、中央値5-12秒(20秒予算内) - 観測されたfalse-stop率は3-5%

5. 議論はある?

- 有限テストがattentionパターンを特定し、失敗が完全に展開する前のオンライン介入を支援 - 要旨からは不明な点:他のポリシーへの一般化、計算コスト、リアルタイム性の詳細

6. 次に読むべき論文は?

- OpenVLA, OpenVLA-OFT, UniVLA, π_{0.5}(要旨で比較) - Dynamic time warping, conformal calibration(関連手法) - 同分野の定番:VLA policies, runtime assurance, attention monitoring

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haki Darwish, Xiangyu Yin, Changwen Li, Rongjie Yan, Francisco Gomes de Oliveira Neto, Chih-Hong Cheng

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Benchmarks expose vision-language-action (VLA) policies to few canonical instructions, while exhaustive deployment testing is impossible. We introduce Object-Grounded Attention Monitoring (OGAM), connecting systematic testing to runtime assurance: testing reveals attention divergence between successful and failed executions, and OGAM uses this signal to stop failures beyond the finite suite. We generate scene-grounded instructions through pairwise combinations of action templates and objects, and separately test meaning-preserving paraphrases. All 87 out-of-benchmark cases reveal problematic behavior across OpenVLA, OpenVLA-OFT, UniVLA, and $π_{0.5}$: none completes any of the 24 feasible instructions, while infeasible or hazardous requests also trigger behavior substitution. At each action query, we project gradient-weighted visual attention through object masks and group it by instruction role for comparison across tasks and policies. Dynamic time warping aligns this course with a successful reference despite speed differences; conformal calibration on successful episodes sets the early-stopping threshold for sustained deviations, with a nominal false-stop target of $α=0.05$. Across four policies, OGAM stops 87-100% of failed episodes at median times of 5-12s within a 20s budget, with observed false-stop rates of 3-5%, without failure-labeled training. Finite testing thus identifies attention patterns that support online intervention before failure fully unfolds.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI