日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチモーダルLLMarXiv:2610.27103

Omni-Woodpecker:オムニLLMのための証拠と事前知識の再バランスによる幻覚補正

Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs

シェア:XThreadsFacebookLINEはてブBluesky

音声・視覚を統合するオムニLLMのクロスモーダル幻覚を、学習不要で隠れ状態の直交分解により証拠と事前知識に分離し再バランスする手法を提案。

詳しい要約

1. どんなもの?

- Omni LLMs (OLLMs) における cross-modal hallucination を対象とした研究 - 学習不要 (training-free) のフレームワーク Omni-Woodpecker (OWP) を提案 - hallucination mitigation を output-level の操作から conflict-conditioned representation rebalancing へと転換する枠組み - 音声・視覚の統合推論における事実根拠と学習事前分布の絡み合いを扱う

2. 先行研究と比べてどこがすごい?

- 既存の mitigation 手法は主に output level で動作し、fused representations 内での grounding evidence と learned priors の entanglement を見落としていた - OWP は出力ではなく隠れ状態の表現レベルで介入する点が新しい - training-free でありながら backbone を問わず汎化する点を主張 - 具体的な先行研究名は要旨からは不明

3. 技術・手法の肝は?

- 第一に complementary な modality-specific views から cross-modal conflicts を同定 - 次に orthogonal decomposition により hidden states 内で grounding evidence と competing priors を分離 - 最後に decoding 前に misleading priors を抑制し無視された evidence を復元するよう fused representations を適応的に再均衡 - 全体として conflict-conditioned representation rebalancing を実現

4. どうやって有効だと検証した?

- 広範な実験で有効性と cross-architecture generalization を検証 - Qwen2.5-Omni-7B を backbone とし CMM で 12.9 点、AVHBench で 8.6 点改善 - 4 つの general OLLM reasoning benchmarks で 0.67〜2.25 点の一貫した向上 - VideoLLaMA2-AV にも汎化し同 benchmarks で 4.6 点・3.9 点改善

5. 議論はある?

- cross-modal hallucination が OLLMs の主要課題であるとの位置づけ - output-level 手法の限界として grounding evidence と learned priors の entanglement を指摘 - 表現レベルの再均衡が有効であることを実験的に示す - 具体的な限界や失敗事例、計算コスト等の議論は要旨からは不明

6. 次に読むべき論文は?

- Qwen2.5-Omni-7B(backbone として使用) - VideoLLaMA2-AV(汎化先として使用) - CMM、AVHBench(評価 benchmarks) - 比較対象となる既存の output-level hallucination mitigation 手法(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zijian Liu, Chaoyou Fu, Yan Yang, Caifeng Shan, Ran He

分類: cs.AI, cs.CL, cs.CV, cs.MM

原文アブストラクト

Recent Omni LLMs (OLLMs) have demonstrated remarkable capabilities in joint audio-visual reasoning, yet cross-modal hallucinations remain a major challenge. Existing mitigation methods mainly operate at the output level, overlooking the entanglement of grounding evidence and learned priors within fused representations. To address this issue, we propose Omni-Woodpecker (OWP), a training-free framework that shifts hallucination mitigation from output-level manipulation to conflict-conditioned representation rebalancing. Specifically, OWP first identifies cross-modal conflicts from complementary modality-specific views. It then employs orthogonal decomposition to separate grounding evidence from competing priors within the hidden states. Finally, OWP adaptively rebalances fused representations by suppressing misleading priors and restoring ignored evidence before decoding. Extensive experiments demonstrate the effectiveness and strong cross-architecture generalization of OWP. Using Qwen2.5-Omni-7B as the backbone, OWP improves performance by 12.9 and 8.6 points on CMM and AVHBench, respectively, while consistently achieving gains of 0.67-2.25 points across four general OLLM reasoning benchmarks. Furthermore, OWP generalizes effectively to VideoLLaMA2-AV, improving performance by 4.6 and 3.9 points on the same benchmarks. Code is publicly available at https://github.com/ZiiJianLiu/Omni-Woodpecker

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI