日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セグメンテーション/アフォーダンス/VLMarXiv:2605.27764

セグメンテーションモデルは世界を理解できるか?視覚的思考連鎖によるプロアクティブなアフォーダンス推論に向けて

Can Segmentation Models Understand the World? Towards Proactive Affordance Reasoning via Visual Chain-of-Thought

シェア:XThreadsFacebookLINEはてブBluesky

セグメンテーションモデルに視覚的思考連鎖を導入し、指示の前にシーンを能動的に観察して推論することで、意図レベルの指示からアフォーダンスを持つ物体部位のセグメンテーションを可能にする新しいフレームワークSegWorldを提案した。

詳しい要約

1. どんなもの?

- 論文は、SegWorldという新しいセグメンテーションモデルを提案している。 - 従来のセグメンテーションモデルは、ターゲット参照的な指示(領域を記述・制約・暗示する)に基づいてマスクを生成する。 - しかし、実世界の embodied interaction では、人間の指示は意図レベルであり、望む結果を含むが、それを可能にする領域を名指ししない。 - SegWorld は、マルチレベルの visual chain-of-thought (CoT) を通じてシーンを推論し、マスクを生成する前に能動的に観察する。 - 指示を受け取る前に、目に見える物体を記述し、それらが支持する可能性のあるイベントを推論する。 - 指示が与えられると、意図に関連する物体から、それを満たす行動、物理的相互作用サイト、行動を可能にする物体部分へと連鎖を続ける。 - これを確率的推論として定式化し、能動的観察が言語的シーンコンテキストを提供し、意図レベルの指示でのマスク予測を改善する。 - 意図から部分へのベンチマークを構築し、高レベル目標からの affordance-bearing part segme…

2. 先行研究と比べてどこがすごい?

- 従来のセグメンテーションモデルは、LLMとマスクデコーダを組み合わせ、複雑な言語表現をマスクにグラウンディングするが、指示はターゲット参照的である。 - 対照的に、SegWorld は意図レベルの指示に対応し、能動的観察と visual CoT により、指示が領域を名指ししない場合でも適切な部分をセグメントできる。 - 実験では、ターゲット参照的指示では instruction-driven ベースラインと同等の性能を示し、意図レベルの指示では大幅に改善する。 - これにより、実世界の embodied interaction における意図レベルの指示への対応が可能になる点がすごい。

3. 技術・手法の肝は?

- SegWorld は、マルチレベルの visual chain-of-thought (CoT) を採用する。 - 指示を受け取る前に、能動的にシーンを観察し、目に見える物体を記述し、それらが支持する可能性のあるイベントを推論する。 - 指示が与えられると、意図に関連する物体から、それを満たす行動、物理的相互作用サイト、行動を可能にする物体部分へと推論を続ける。 - これを確率的推論として定式化し、能動的観察が言語的シーンコンテキストを提供し、意図レベルの指示でのマスク予測を改善する。 - 具体的なモデルアーキテクチャや学習手法の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 意図から部分へのベンチマークを構築し、高レベル目標からの affordance-bearing part segmentation を評価した。 - 実験により、SegWorld はターゲット参照的指示では instruction-driven ベースラインと同等の性能を示し、意図レベルの指示では大幅に改善することを確認した。 - これにより、意図レベルの指示に対する有効性が検証された。

5. 議論はある?

- 要旨では、SegWorld が意図レベルの指示に対して有効であることが示されているが、限界や議論点については明示されていない。 - 例えば、能動的観察のコスト、推論の一般化可能性、他のタスクへの適用性などは要旨からは不明。 - また、ベンチマークの詳細や評価指標についても要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究として、LLM と mask decoders を組み合わせた recent segmentation models が挙げられる。 - 関連手法として、visual chain-of-thought (CoT) や affordance reasoning が挙げられる。 - 同分野の定番として、instruction-driven segmentation や embodied interaction に関する研究が次に読むべき論文として考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

分類: cs.CV, cs.AI

原文アブストラクト

Recent segmentation models couple large language models (LLMs) with mask decoders to ground complex language expressions into masks, yet their instructions remain target-referential: they describe, constrain, or imply the region to be segmented. However, in real-world embodied interaction, human instructions are often at the intent-level, which includes the desired outcome without naming the region that enables it. To bridge this gap, we introduce SegWorld, where the model reasons about the scene through a multi-level visual chain-of-thought (CoT) before committing to a mask. Before receiving any instructions, it proactively observes the scene, describing visible objects and inferring plausible events they may support. Given an instruction, it continues the chain: from the object relevant to the intent, through the action that satisfies it, to the physical interaction site, the object part that affords the action. We formalize SegWorld as probabilistic inference, in which proactive observation supplies a linguistic scene context that improves mask prediction when instructions are given at the level of intent. We construct an intent-to-part benchmark for evaluating affordance-bearing part segmentation from high-level goals. Experiments show SegWorld matches instruction-driven baselines on target-referential instructions and improves substantially on intent-level ones.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI