パーツセグメンテーション2025/5/1arXiv:2505.18291

InstructPart: 指示に基づくタスク指向型パーツセグメンテーション

InstructPart: Task-Oriented Part Segmentation with Instruction Reasoning

物体を構成する部品ごとに分割し、指示されたタスクに応じて適切な部品を切り出すベンチマークInstructPartを提案し、既存の視覚言語モデルでも難しいことを示した上で、データセットでの微調整により性能を倍増させるベースラインを提示した。

詳しい要約

1. どんなもの？

- 物体を不可分な単位ではなく部品(part)の集合として捉え、指示に基づくpart-levelのsegmentationを評価する新しい実世界benchmark「InstructPart」を提案する研究。 - 手作業でラベル付けしたpart segmentation annotationと、task-oriented instructionのペアで構成される。 - 日常的文脈におけるpart-levelタスクの理解・実行性能を現行モデルについて評価することを目的とする。 - 併せて、datasetによるfine-tuningで性能を改善するsimple baselineも提示する。

2. 先行研究と比べてどこがすごい？

- 既存のlarge multimodal foundation modelsは物体を不可分なものとして扱い、それを構成するcomponentを見落としがちであるという問題意識に基づく。 - 従来benchmarkとの具体的な差分・比較数値は要旨からは不明。 - 主張として、task-oriented part segmentationがstate-of-the-artのVision-Language Models (VLMs)にとっても依然困難であることを実験で示す点が新規性。 - 手作業ラベルのpart annotationとtask-oriented instructionを組み合わせた実世界benchmarkの提供が貢献。

3. 技術・手法の肝は？

- 中核はInstructPart benchmarkの構築で、hand-labeledなpart segmentation annotationとtask-oriented instructionを対にする。 - 評価対象はVision-Language Models (VLMs)で、part-levelタスクの理解・実行を測る。 - 提案baselineはInstructPart datasetでのfine-tuningにより性能改善を狙うシンプルな構成。 - 具体的なモデル構造・学習手順の詳細は要旨からは不明。

4. どうやって有効だと検証した？

- InstructPart benchmark上で現行のVision-Language Models (VLMs)を評価し、task-oriented part segmentationが難しいことを実験的に示した。 - 提案baselineがdatasetでのfine-tuningによりtwofold(約2倍)の性能改善を達成したと報告。 - 具体的な評価指標・被験モデル・数値の詳細は要旨からは不明。

5. 議論はある？

- task-oriented part segmentationの難しさを踏まえ、datasetとbenchmarkの提供により当該研究分野の発展を促す狙いが述べられている。 - 応用先としてrobotics、virtual reality、information retrieval等が挙げられている。 - 限界・失敗要因・倫理的懸念などの具体的議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として、large multimodal foundation models、Vision-Language Models (VLMs)、part segmentation、affordance理解に関する研究が次に読む候補となる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zifu Wan, Yaqi Xie, Ce Zhang, Zhiqiu Lin, Zihan Wang, Simon Stepputtis, Deva Ramanan, Katia Sycara

分類: cs.CV, cs.CL, cs.RO

原文アブストラクト

Large multimodal foundation models, particularly in the domains of language and vision, have significantly advanced various tasks, including robotics, autonomous driving, information retrieval, and grounding. However, many of these models perceive objects as indivisible, overlooking the components that constitute them. Understanding these components and their associated affordances provides valuable insights into an object's functionality, which is fundamental for performing a wide range of tasks. In this work, we introduce a novel real-world benchmark, InstructPart, comprising hand-labeled part segmentation annotations and task-oriented instructions to evaluate the performance of current models in understanding and executing part-level tasks within everyday contexts. Through our experiments, we demonstrate that task-oriented part segmentation remains a challenging problem, even for state-of-the-art Vision-Language Models (VLMs). In addition to our benchmark, we introduce a simple baseline that achieves a twofold performance improvement through fine-tuning with our dataset. With our dataset and benchmark, we aim to facilitate research on task-oriented part segmentation and enhance the applicability of VLMs across various domains, including robotics, virtual reality, information retrieval, and other related fields. Project website: https://zifuwan.github.io/InstructPart/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧