日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.20870

LLMの常識推論による人間参加型ロボット行動再計画

A Human-in-the-loop Approach to Robot Action Replanning through LLM Common-Sense Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

単一のRGB動画から生成されたロボット実行計画を、自然言語入力とLLMの常識推論で修正・適応する人間参加型手法を提案した。

詳しい要約

1. どんなもの?

- 単一の RGB video から自動生成した robot execution plan を、自然言語入力と LLM の common-sense reasoning で改善する human-in-the-loop 手法 - 非専門家でも使えるアクセシブルな programming tool を目指す - observational learning による直感的な技能移転を前提に、視覚入力のみの限界を補う枠組み

2. 先行研究と比べてどこがすごい?

- 単一 demonstration に基づく視覚のみの手法は scalability と failure mitigation の面で非効率 - 本手法は追加 demonstration を必要とせず、自然言語指示で plan を修正・適応 - LLM の common-sense reasoning を活用し、視覚由来の誤り訂正と計画適応を両立 - 対話的な plan refinement と hallucination corrections で robustness を高める点が特徴

3. 技術・手法の肝は?

- 単一 RGB video から vision-based plan を自動生成 - ユーザーが目標や critical task aspects を自然言語で指定し、LLM に入力 - LLM の common-sense reasoning で潜在的な failure を予防するよう plan を調整 - 受けた指示に基づき plan を適応 - 対話的な plan refinement と hallucination corrections を組み込む

4. どうやって有効だと検証した?

- 実験により framework の intuitiveness と有効性を評価 - 視覚由来の誤り訂正と、追加 demonstration なしの plan 適応が可能なことを示す - 対話的な plan refinement と hallucination corrections が system robustness を高めることを確認 - 具体的な被験者数・タスク・指標は要旨からは不明

5. 議論はある?

- 視覚のみ・単一 demonstration 依存の限界を自然言語と LLM で補う設計 - 追加 demonstration 不要で誤り訂正と適応を実現する点を主張 - hallucination corrections を含む対話的改善が robustness に寄与 - 定量的評価や限界・失敗事例の詳細は要旨からは不明

6. 次に読むべき論文は?

- observational learning / learning from demonstration の関連研究 - 単一 RGB video からの robot plan 生成手法 - LLM の common-sense reasoning を用いた robot planning - human-in-the-loop による plan refinement や hallucination correction の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Elena Merlo, Marta Lagomarsino, Arash Ajoudani

分類: cs.RO

原文アブストラクト

To facilitate the wider adoption of robotics, accessible programming tools are required for non-experts. Observational learning enables intuitive human skills transfer through hands-on demonstrations, but relying solely on visual input can be inefficient in terms of scalability and failure mitigation, especially when based on a single demonstration. This paper presents a human-in-the-loop method for enhancing the robot execution plan, automatically generated based on a single RGB video, with natural language input to a Large Language Model (LLM). By including user-specified goals or critical task aspects and exploiting the LLM common-sense reasoning, the system adjusts the vision-based plan to prevent potential failures and adapts it based on the received instructions. Experiments demonstrated the framework intuitiveness and effectiveness in correcting vision-derived errors and adapting plans without requiring additional demonstrations. Moreover, interactive plan refinement and hallucination corrections promoted system robustness.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI