日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.16898

セマンティックフリップ:身体化質問応答と空間定位における堅牢な拒否のための合成OOD生成

Semantic Flip: Synthetic OOD Generation for Robust Refusal in Embodied Question Answering and Spatial Localization

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルが回答不能なクエリに対して過信する問題を解決するため、クエリとビデオメモリを独立に変換してOODペアを合成し、軽量な拒否モジュールを訓練するフレームワークを提案した。

詳しい要約

1. どんなもの?

- 本論文は、Embodied Question Answering (EQA) や spatial localization において、視覚メモリがクエリを支持できない場合に VLM が過信した回答を生成する問題に対処する。 - 提案手法 Semantic Flip は、外部 OOD アノテーションなしで OOD サンプルを合成し、拒否応答を可能にするフレームワーク。 - 凍結した pretrained VLM 上に軽量な rejection module を訓練し、既存パイプラインに追加可能。 - 新ベンチマーク SpaceReject を導入し、長いビデオメモリに対する意図的に答えられないクエリでの拒否性能を評価。

2. 先行研究と比べてどこがすごい?

- 従来の VLM は、視覚メモリが不十分でも過信した回答を生成し、EQA では誤情報、spatial reasoning では任意の座標を選択するリスクがある。 - 先行研究では、embodied VLM が「I do not know」と応答すべき状況を直接扱うものは少数。 - Semantic Flip は、外部 OOD アノテーションを必要とせず、合成 OOD サンプルを利用する点で新規。 - 強力な prompting ベースラインを一貫して上回り、SpaceReject で F1 スコア 0.9559 を達成。

3. 技術・手法の肝は?

- クエリとビデオメモリを独立に変換し、十分な視覚的グラウンディングを欠く補助的な OOD ペアを合成。 - 合成ペアを用いて、凍結した pretrained VLM 上に軽量な rejection module を訓練。 - このモジュールは、基盤モデルを再訓練せずに任意の VLM ベースパイプラインに接続可能。 - 外部 OOD アノテーションを必要としないシンプルかつ効果的なフレームワーク。

4. どうやって有効だと検証した?

- 2つの相補的ベンチマークで評価し、Semantic Flip が強力な prompting ベースラインを一貫して上回ることを確認。 - 新たに導入した SpaceReject ベンチマーク(長いビデオメモリに対する意図的に答えられないクエリ)で、F1 スコア 0.9559 を達成。 - ソースコードとデータセットは公開されている。

5. 議論はある?

- 要旨からは、手法の限界や議論の詳細は不明。 - ただし、過信回答のリスクや拒否応答の重要性が強調されている。 - 外部 OOD アノテーション不要で既存 VLM に追加可能な点が実用性の議論につながる可能性。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、vision-language models (VLMs)、Embodied Question Answering (EQA)、spatial localization、out-of-distribution (OOD) detection、refusal learning などが挙げられる。 - 同分野の定番として、VLM ベースの embodied agents や prompting ベースラインに関する論文を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dongbin Na, Chanwoo Kim, Giyun Choi, Dooyoung Hong

分類: cs.CV, cs.AI

原文アブストラクト

Detecting unanswerable user queries remains essential for the reliable deployment of real-world embodied agents. However, modern vision-language models (VLMs) often generate overly confident answers even when the available visual memory cannot support the query. Such overconfidence poses various task-dependent risks. The agent may provide misleading information to the user in Embodied Question Answering and select an arbitrary coordinate and physically guide the user there in spatial reasoning for navigation. Despite these high stakes, only a few prior studies directly address when and how an embodied VLM should respond with "I do not know." This work proposes Semantic Flip, a simple yet effective framework that synthesizes auxiliary out-of-distribution (OOD) samples for embodied refusal without requiring external OOD annotations. The key idea is to independently transform the query and video memory to construct auxiliary OOD pairs that lack sufficient visual grounding. These synthesized pairs enable training a lightweight rejection module on top of a frozen pretrained VLM. The module attaches to any existing VLM-based pipeline without retraining the underlying model. Across two complementary benchmarks, Semantic Flip consistently outperforms strong prompting baselines. This work also introduces SpaceReject, a new refusal benchmark for spatial localization with deliberately unanswerable queries over long video memory, where Semantic Flip achieves an $F_1$ score of 0.9559. The source codes and datasets are publicly available at https://github.com/ndb796/SemanticFlip.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI