日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/3D推論arXiv:2604.08645

3D-VCD: 視覚的対照デコードによる3D-LLM具現化エージェントの幻覚抑制

3D-VCD: Hallucination Mitigation in 3D-LLM Embodied Agents through Visual Contrastive Decoding

シェア:XThreadsFacebookLINEはてブBluesky

3D環境で動作する大規模マルチモーダルモデルの幻覚を抑えるため、3Dシーングラフに摂動を加えて対照デコードする初の推論時手法を提案した。

詳しい要約

1. どんなもの?

- 3D環境で動作するembodied agentsの推論コアとして使われるLarge multimodal modelsのhallucinationを推論時に軽減する手法。 - 3D-LLM embodied agents向けの初のinference-time visual contrastive decodingフレームワーク。 - 3D scene graphを意味的・幾何的に摂動させ、元の3D文脈と歪めた3D文脈での予測を対比する。 - 再学習なしでgrounded reasoningを改善する。

2. 先行研究と比べてどこがすごい?

- 既存のinference-time hallucination mitigationは主に2D vision-language設定を対象とし、3D embodied reasoningに転移しない。 - 3Dでは失敗がpixel-levelの不整合ではなく、object presence、spatial layout、geometric groundingに起因する。 - 3D-VCDは構造化された3D表現上でのinference-time contrastive decodingを初めて実現。 - 再学習不要でgrounded reasoningを一貫して改善。

3. 技術・手法の肝は?

- 元の3D scene graphに対し、object-centric representationsへsemanticおよびgeometric perturbationsを適用。 - 具体的にはcategory substitutionsやcoordinate/extent corruptionで歪めた3D scene graphを構築。 - 元の3D文脈と歪めた3D文脈での予測を対比。 - grounded scene evidenceに鈍感でlanguage priorsに駆動されやすいtokenを抑制する。

4. どうやって有効だと検証した?

- 3D-POPEとHEALベンチマークで評価。 - 再学習なしでgrounded reasoningが一貫して改善することを示した。 - 詳細な実験設定や比較対象は要旨からは不明。

5. 議論はある?

- 推論時のcontrastive decoding over structured 3D representationsが、より信頼性の高いembodied intelligenceへの有効かつ実用的な道筋であると主張。 - 限界や失敗ケース、計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は?

- 3D-POPE - HEAL - 2D vision-language向けのinference-time hallucination mitigation手法(具体名は要旨からは不明) - 3D-LLM embodied agentsの基盤モデル(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Makanjuola Ogunleye, Eman Abdelrahman, Ismini Lourentzou

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

Large multimodal models are increasingly used as the reasoning core of embodied agents operating in 3D environments, yet they remain prone to hallucinations that can produce unsafe and ungrounded decisions. Existing inference-time hallucination mitigation methods largely target 2D vision-language settings and do not transfer to embodied 3D reasoning, where failures arise from object presence, spatial layout, and geometric grounding rather than pixel-level inconsistencies. We introduce 3D-VCD, the first inference-time visual contrastive decoding framework for hallucination mitigation in 3D embodied agents. 3D-VCD constructs a distorted 3D scene graph by applying semantic and geometric perturbations to object-centric representations, such as category substitutions and coordinate or extent corruption. By contrasting predictions under the original and distorted 3D contexts, our method suppresses tokens that are insensitive to grounded scene evidence and are therefore likely driven by language priors. We evaluate 3D-VCD on the 3D-POPE and HEAL benchmarks and show that it consistently improves grounded reasoning without any retraining, establishing inference-time contrastive decoding over structured 3D representations as an effective and practical route to more reliable embodied intelligence.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI