日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作理解arXiv:2604.21053

神経記号的操作理解:拡張意味イベントチェーンによるアプローチ

Neuro-Symbolic Manipulation Understanding with Enriched Semantic Event Chains

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの操作理解のため、拡張意味イベントチェーンを信頼度付き述語や機能役割などで拡張し、記号的推論で行動認識と次プリミティブ予測を行う枠組みを提案した。

詳しい要約

1. どんなもの?

- 人間環境で動作するロボット向けに、操作の時間的進展・現在行動・次プリミティブを推論する枠組み。 - 古典的 enriched Semantic Event Chains (eSECs) を拡張し、eSEC-LAM を提案。 - eSEC を明示的なイベントレベル記号状態に変換する neuro-symbolic フレームワーク。 - 不確実性を考慮した意思決定を直接支援する。

2. 先行研究と比べてどこがすごい?

- 古典的 eSECs は記述的で、不確実性を考慮した意思決定を直接支援しない。 - eSEC-LAM は confidence-aware predicates 等を付加し、記号状態として利用可能に。 - 古典的記号ベースラインや end-to-end video ベースラインより、知覚劣化時に頑健。 - 次プリミティブ予測を大幅に改善。

3. 技術・手法の肝は?

- foundation-model-based perception front-end から決定論的 predicate extraction で記号状態を導出。 - eSECs に confidence-aware predicates, functional object roles, affordance priors, primitive-level abstraction, saliency-guided explanation cues を追加。 - 現在行動推論と次プリミティブ予測は、primitive の pre-/post-conditions 上の軽量記号推論で実施。

4. どうやって有効だと検証した?

- EPIC-KITCHENS-100, EPIC-KITCHENS VISOR, Assembly101 で評価。 - 行動認識、次プリミティブ予測、知覚ノイズへの頑健性、説明一貫性を検証。 - 行動認識は競争力あり、次プリミティブ予測は大幅改善。 - 知覚劣化条件下で古典的記号・end-to-end video ベースラインより頑健。 - 明示的関係証拠に基づく時間的一貫した説明トレースを提供。

5. 議論はある?

- 要旨からは、限界や失敗事例、計算コスト、スケーラビリティに関する議論は不明。 - 知覚ノイズへの頑健性と説明一貫性が示されているが、詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: classical enriched Semantic Event Chains (eSECs), end-to-end video baselines。 - 関連手法: neuro-symbolic action reasoning, foundation-model-based perception。 - データセット: EPIC-KITCHENS-100, EPIC-KITCHENS VISOR, Assembly101。 - 同分野の定番: Semantic Event Chains, symbolic reasoning for manipulation。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fatemeh Ziaeetabar

分類: cs.RO, cs.CV

原文アブストラクト

Robotic systems operating in human environments must reason about how object interactions evolve over time, which actions are currently being performed, and what manipulation step is likely to follow. Classical enriched Semantic Event Chains (eSECs) provide an interpretable relational description of manipulation, but remain primarily descriptive and do not directly support uncertainty-aware decision making. In this paper, we propose eSEC-LAM, a neuro-symbolic framework that transforms eSECs into an explicit event-level symbolic state for manipulation understanding. The proposed formulation augments classical eSECs with confidence-aware predicates, functional object roles, affordance priors, primitive-level abstraction, and saliency-guided explanation cues. These enriched symbolic states are derived from a foundation-model-based perception front-end through deterministic predicate extraction, while current-action inference and next-primitive prediction are performed using lightweight symbolic reasoning over primitive pre- and post-conditions. We evaluate the proposed framework on EPIC-KITCHENS-100, EPIC-KITCHENS VISOR, and Assembly101 across action recognition, next-primitive prediction, robustness to perception noise, and explanation consistency. Experimental results show that eSEC-LAM achieves competitive action recognition, substantially improves next-primitive prediction, remains more robust under degraded perceptual conditions than both classical symbolic and end-to-end video baselines, and provides temporally consistent explanation traces grounded in explicit relational evidence. These findings demonstrate that enriched Semantic Event Chains can serve not only as interpretable descriptors of manipulation, but also as effective internal states for neuro-symbolic action reasoning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI