日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

人間ロボット協調arXiv:2601.00978

知覚から記号的タスク計画へ:視覚言語モデルによる人間とロボットの協調構造組立

From Perception to Symbolic Task Planning: Vision-Language Guided Human-Robot Collaborative Structured Assembly

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルでRGB-D観測を設計仕様と照合して組立状態を記号化し、人間の介入に応じて最小変更で再計画する人間協調型組立フレームワークを提案した。

詳しい要約

1. どんなもの?

- 構造化組立におけるHuman-Robot Collaboration (HRC) のための設計根拠に基づく人間認識型計画フレームワーク。 - 2つの結合モジュールから成る。 - Module I: Perception-to-Symbolic State (PSS) - Vision-Language Models (VLMs) ベースのエージェントがRGB-D観測を設計仕様とドメイン知識に整合させ、検証可能な記号的組立状態を合成。 - オンライン状態追跡のため、検証済みの設置済み・未設置コンポーネント集合を出力。 - Module II: Human-Aware Planning and Replanning (HPR) - タスクレベルのマルチロボット割当を実行し、観測状態が期待実行結果から逸脱した場合のみ計画を更新。 - 最小変更再計画ルールを適用し、人間介入下でもタスク割当を選択的に修正して計画安定性を保持。 - 27コンポーネントの木枠組立で検証。

2. 先行研究と比べてどこがすごい?

- 要旨からは不明。 - 先行研究との具体的な比較や優位性の記述はない。 - ただし、VLMベースの知覚と知識駆動型計画を統合することで、動的条件下での状態推定とタスク計画のロバスト性を向上させると主張。

3. 技術・手法の肝は?

- Module I (PSS): Vision-Language Models (VLMs) ベースのエージェントを採用。 - RGB-D観測を設計仕様とドメイン知識に整合。 - 検証可能な記号的組立状態を合成。 - 設置済み・未設置コンポーネント集合を出力しオンライン状態追跡。 - Module II (HPR): 人間認識型計画・再計画。 - タスクレベルのマルチロボット割当を実施。 - 観測状態が期待実行結果から逸脱した場合のみ計画を更新。 - 最小変更再計画ルールを適用し、タスク割当を選択的に修正して計画安定性を保持。

4. どうやって有効だと検証した?

- 27コンポーネントの木枠組立でフレームワークを検証。 - PSSモジュールは97%の状態合成精度を達成。 - HPRモジュールは多様なHRCシナリオで実行可能なタスク進行を維持。 - 結果は、VLMベース知覚と知識駆動型計画の統合が動的条件下での状態推定とタスク計画のロバスト性を改善することを示す。

5. 議論はある?

- 要旨からは不明。 - 議論や限界、課題についての記述はない。 - ただし、ノイズの多い知覚と人間介入下での信頼できる状態推定と適応的タスク計画の必要性を背景として述べている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明記されていない。 - 関連手法として、Vision-Language Models (VLMs) ベースの知覚、Human-Robot Collaboration (HRC)、マルチロボットタスク割当、再計画、記号的タスク計画が挙げられる。 - 同分野の定番として、Task and Motion Planning (TAMP) や Human-Aware Planning の文献が考えられるが、要旨からは特定できない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanyi Chen, Min Deng

分類: cs.RO

原文アブストラクト

Human-robot collaboration (HRC) in structured assembly requires reliable state estimation and adaptive task planning under noisy perception and human interventions. To address these challenges, we introduce a design-grounded human-aware planning framework for human-robot collaborative structured assembly. The framework comprises two coupled modules. Module I, Perception-to-Symbolic State (PSS), employs vision-language models (VLMs) based agents to align RGB-D observations with design specifications and domain knowledge, synthesizing verifiable symbolic assembly states. It outputs validated installed and uninstalled component sets for online state tracking. Module II, Human-Aware Planning and Replanning (HPR), performs task-level multi-robot assignment and updates the plan only when the observed state deviates from the expected execution outcome. It applies a minimal-change replanning rule to selectively revise task assignments and preserve plan stability even under human interventions. We validate the framework on a 27-component timber-frame assembly. The PSS module achieves 97% state synthesis accuracy, and the HPR module maintains feasible task progression across diverse HRC scenarios. Results indicate that integrating VLM-based perception with knowledge-driven planning improves robustness of state estimation and task planning under dynamic conditions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI