日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマークarXiv:2607.02680

K9-Bench:犬中心の動画におけるマルチモーダルLLMの評価

K9-Bench: Evaluating Multimodal LLMs on Canine-Centric Videos

シェア:XThreadsFacebookLINEはてブBluesky

犬の行動理解に特化したベンチマークK9-Benchを構築し、907本の動画と約5000のQAペアを用いて、最先端のマルチモーダルLLMのゼロショット性能を評価した。

詳しい要約

1. どんなもの?

K9-Benchは、家庭犬の実世界動画に焦点を当てた新しいベンチマークである。907本の動画から約5000の質問応答ペアを構築し、5つのタスクカテゴリにわたって、MLLMの犬中心の行動・相互作用理解を評価する。データセット構築には、VLM/LLMを活用したスケーラブルなパイプラインを提案し、バイアス軽減戦略も実装している。

2. 先行研究と比べてどこがすごい?

既存のベンチマークは主に人間中心のタスクや一般的な動画理解に焦点を当てており、動物中心のシナリオ、特に犬の長期的な行動や相互作用の理解は未開拓である。K9-Benchは、犬中心の動画に特化し、長期的なマルチモーダル推論を必要とするQAペアを提供する点で新規性が高い。また、データ構築パイプラインは低データ領域への適応可能性を持つ。

3. 技術・手法の肝は?

手法の肝は、VLM/LLMを利用した自動データ生成パイプラインである。ウェブから犬中心の動画を自動的にマイニングし、犬の行動や時間的に拡張された相互作用シーケンスに対する細粒度のマルチホップ推論を必要とするQAペアをキュレーションする。さらに、データセットキュレーション中にVLMが導入するバイアスを排除するためのバイアス軽減戦略を実装している点も重要である。

4. どうやって有効だと検証した?

有効性の検証は、最先端のMLLMをK9-Bench上で評価することで行った。クローズドソースモデルがオープンソースモデルを上回るものの、長い時間範囲にわたる微妙な姿勢や相互作用の手がかりに対する構成推論に苦戦することを示した。また、一般的なchain-of-thoughtプロンプトが長期的推論には限定的な改善しかもたらさないことも観察した。

5. 議論はある?

議論としては、フロンティアMLLMの犬中心タスクにおけるゼロショット性能が限定的であることが挙げられる。特に、長期的な推論や微妙な手がかりの理解が課題である。また、chain-of-thoughtプロンプトの効果が限定的であることから、より高度な推論手法の必要性が示唆される。データセット構築パイプラインの一般性については、他の低データ領域への適応可能性が議論されているが、具体的な検証は要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、MLLMのベンチマーク(例:VideoQA、動作認識)や、VLM/LLMを用いたデータセット構築手法、犬の行動分析に関する研究が挙げられる。具体的には、次に読むべき論文は、MLLMのゼロショット性能を評価する一般的なベンチマークや、動物行動理解に特化した既存研究である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Khush Attarde, Yusuf Ali, Megha Thukral, Divye Bhutani, Thomas Ploetz, Zsolt Kira

分類: cs.CV, cs.AI

原文アブストラクト

MLLMs have shown strong zero-shot capabilities across diverse inputs such as across images, video, audio, and text. A crucial, yet underexplored, application of these models lies in understanding and modeling animal-centric scenarios. As animals are integral to millions of households, benchmarking next-generation AI models on pet-focused tasks, ranging from recognizing distress signals to enabling responsive robotic companions, is essential for building AI systems that can work alongside us. We introduce K9-Bench, a novel benchmark focused on real-world domestic dog videos, specifically targeting canine action and interaction understanding via approximately 5000 question-answer pairs across 907 videos spanning 5 distinct task categories that test long-form, canine-centric multimodal reasoning in MLLMs. To create this dataset, we propose a scalable, VLM/LLM-powered data generation pipeline that automatically mines canine-centric videos from the web and curates QA pairs requiring fine-grained, multi-hop reasoning over canine actions and temporally extended interaction sequences. We implement bias mitigation strategies designed to eliminate biases introduced by VLMs during dataset curation. Through extensive experimentation, we find that frontier MLLMs exhibit limited zero-shot performance on canine-centric tasks: although state-of-the-art closed-source models outperform open-source counterparts, they still struggle with compositional reasoning over subtle posture and interaction cues spread over long horizons. We observe that generic chain-of-thought prompting provides only modest performance for such long-horizon reasoning. Beyond a novel dataset for canine activity analysis, K9-Bench provides a general-purpose dataset construction pipeline that can be adapted to other low-data domains for quantitative analysis. Our project website is available at: https://ogmenrobotics.github.io/K9Bench.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI