日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLM/アフォーダンス推論arXiv:2604.19509

非人型ロボット形態におけるVLM駆動の意味的アフォーダンス推論の評価

Assessing VLM-Driven Semantic-Affordance Inference for Non-Humanoid Robot Morphologies

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデル(VLM)が人間とは異なる形態のロボットに対してアフォーダンスを推論できるかを、実世界データと合成データを組み合わせたハイブリッドデータセットを用いて評価し、VLMが保守的な予測をする傾向を明らかにした。

詳しい要約

1. どんなもの?

- 本論文は、Vision-language models (VLMs) が非ヒューマノイド型ロボットの形態に対して affordance 推論を効果的に行えるかを調査する。 - 人間と根本的に異なる embodiment を持つロボットへの VLM 適用のギャップを埋めることを目的とする。 - 実世界のロボット affordance-object 関係と VLM 生成の合成シナリオを組み合わせた新しい hybrid dataset を導入。 - 複数の物体カテゴリとロボット形態にわたる VLM 性能の実証分析を行う。

2. 先行研究と比べてどこがすごい?

- 従来の VLM 研究は人間-物体相互作用の理解に焦点が当てられ、非ヒューマノイド型ロボットへの応用はほとんど未探索であった。 - 本研究は、多様なロボット形態に対する VLM の affordance 推論能力を体系的に評価した点で新規性がある。 - 実世界データと合成データを組み合わせた hybrid dataset を構築し、より広範な評価を可能にした。

3. 技術・手法の肝は?

- 実世界のロボット affordance-object 関係のアノテーションと VLM 生成の合成シナリオを統合した hybrid dataset を提案。 - 複数の物体カテゴリとロボット形態に対して VLM の affordance 推論性能を実証的に分析。 - 性能指標として false positive rate と false negative rate に着目し、形態やカテゴリ間の変動を評価。

4. どうやって有効だと検証した?

- 複数の物体カテゴリとロボット形態にわたる実験を実施し、VLM の affordance 推論能力の変動を明らかにした。 - すべての形態と物体カテゴリで一貫して低い false positive rate と高い false negative rate を確認。 - 特に新しい tool use シナリオや非従来的な物体操作でこの傾向が顕著であることを示した。

5. 議論はある?

- VLM は非ヒューマノイド型ロボット形態への一般化にある程度有望だが、物体ドメイン間で性能が不安定。 - 低い false positive rate は安全性の利点がある一方、高い false negative rate は保守的な affordance 予測を示す。 - ロボットシステムへの効果的な統合には、低い false positive rate の安全性を保ちつつ、過度に保守的な挙動を緩和する補完的アプローチが必要。

6. 次に読むべき論文は?

- 要旨からは不明(参照・比較されている特定の研究が明記されていない)。 - 関連手法として、VLM を用いた affordance learning、robot affordance inference、hybrid dataset 構築、非ヒューマノイドロボットの embodiment-aware learning などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jess Jones, Raul Santos-Rodriguez, Sabine Hauert

分類: cs.RO, cs.MA

原文アブストラクト

Vision-language models (VLMs) have demonstrated remarkable capabilities in understanding human-object interactions, but their application to robotic systems with non-humanoid morphologies remains largely unexplored. This work investigates whether VLMs can effectively infer affordances for robots with fundamentally different embodiments than humans, addressing a critical gap in the deployment of these models for diverse robotic applications. We introduce a novel hybrid dataset that combines annotated real-world robotic affordance-object relations with VLM-generated synthetic scenarios, and perform an empirical analysis of VLM performance across multiple object categories and robot morphologies, revealing significant variations in affordance inference capabilities. Our experiments demonstrate that while VLMs show promising generalisation to non-humanoid robot forms, their performance is notably inconsistent across different object domains. Critically, we identify a consistent pattern of low false positive rates but high false negative rates across all morphologies and object categories, indicating that VLMs tend toward conservative affordance predictions. Our analysis reveals that this pattern is particularly pronounced for novel tool use scenarios and unconventional object manipulations, suggesting that effective integration of VLMs in robotic systems requires complementary approaches to mitigate over-conservative behaviour while preserving the inherent safety benefits of low false positive rates.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI