日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モバイルマニピュレーション/HRIarXiv:2604.05320

ExpressMM: 人間とロボットのインタラクションにおける表現豊かなモバイル操作行動

ExpressMM: Expressive Mobile Manipulation Behaviors in Human-Robot Interactions

シェア:XThreadsFacebookLINEはてブBluesky

本論文では、モバイルマニピュレータが人間と協調作業中に意図を表現するためのフレームワークExpressMMを提案し、視覚言語モデルと視覚言語行動ポリシーを統合して、中断可能な対話を実現した。

詳しい要約

1. どんなもの?

- モバイルマニピュレータが人間中心環境で協調作業を行う際に、意図を伝える表現豊かなロボット行動を生成するExpressMMフレームワークを提案。 - 高レベル言語誘導プランナと低レベルvision-language-actionポリシーを統合し、協調HRIタスク中の表現行動を実現。 - ユーザによる中断・修正・リダイレクト指示に対応するinterruptible interactionsをサポート。 - 協調組立シナリオで実証し、ライブHRIデモの観客評価を実施。

2. 先行研究と比べてどこがすごい?

- 従来の表現ロボット行動はpreprogrammedやlearning-from-demonstrationベースの動作、LLM生成の高レベルインタラクションが主流。 - 既存手法の多くは、タスク実行中にユーザが中断・修正・リダイレクトするHRIを考慮していない。 - ExpressMMは、vision-language modelによる知覚と会話推論に基づく高レベルプランナと、低レベルvision-language-actionポリシーを統合。 - さらにinterruptible interactionsを可能にし、更新・リダイレクト指示に対応する点が新しい。

3. 技術・手法の肝は?

- 高レベル言語誘導プランナ:vision-language modelを用いた知覚と会話推論に基づき、タスク計画を生成。 - 低レベルvision-language-actionポリシー:表現豊かなロボット行動を生成。 - 両者を統合し、協調HRIタスク中の表現行動を実現。 - interruptible interactionsをサポートし、ユーザの更新・リダイレクト指示に対応。

4. どうやって有効だと検証した?

- モバイルマニピュレータが人間を支援する協調組立シナリオでExpressMMを実証。 - ライブHRIデモンストレーションに対して観客ベースの評価を実施。 - アンケート結果から、ExpressMMによる表現行動が観察者のロボット行動・意図の明確な解釈を助け、社会的に適切で理解可能なインタラクションを支援したと報告。 - 参加者は、ロボットが協調タスクに有用で、予測可能かつ安全に振る舞い、有用性・安全性・予測可能性に対する肯定的認識を形成したと報告。

5. 議論はある?

- アンケート結果は、ExpressMMが観察者の解釈を助け、社会的に適切で理解可能なインタラクションを支援したことを示す。 - 参加者はロボットの有用性、安全性、予測可能性について肯定的に評価。 - ただし、要旨からは限界や課題、今後の議論については不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:preprogrammed expressive motions、learning-from-demonstration-based expressive motions、large language model generated high-level interactions。 - 関連手法:vision-language model、vision-language-action policy。 - 同分野の定番:expressive robot behavior、human-robot interaction (HRI)、mobile manipulator。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Souren Pashangpour, Haitong Wang, Matthew Lisondra, Goldie Nejat

分類: cs.RO

原文アブストラクト

Mobile manipulators are increasingly deployed in human-centered environments to perform tasks. While completing such tasks, they should also be able to communicate their intent to the people around them using expressive robot behaviors. Prior work on expressive robot behaviors has used preprogrammed or learning-from-demonstration-based expressive motions and large language model generated high-level interactions. The majority of these existing approaches have not considered human-robot interactions (HRI) where users may interrupt, modify, or redirect a robot's actions during task execution. In this paper, we develop the novel ExpressMM framework that integrates a high-level language-guided planner based on a vision-language model for perception and conversational reasoning with a low-level vision-language-action policy to generate expressive robot behaviors during collaborative HRI tasks. Furthermore, ExpressMM supports interruptible interactions to accommodate updated or redirecting instructions by users. We demonstrate ExpressMM on a mobile manipulator assisting a human in a collaborative assembly scenario and conduct audience-based evaluation of live HRI demonstrations. Questionnaire results show that the ExpressMM-enabled expressive behaviors helped observers clearly interpret the robot's actions and intentions while supporting socially appropriate and understandable interactions. Participants also reported that the robot was useful for collaborative tasks and behaved in a predictable and safe manner during the demonstrations, fostering positive perceptions of the robot's usefulness, safety, and predictability during the collaborative tasks.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI