日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2506.15847

SafeMimic: 移動マニピュレーションのための安全で自律的な人間からロボットへの模倣学習

SafeMimic: Towards Safe and Autonomous Human-to-Robot Imitation for Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

一人称視点の人間動画から移動マニピュレーションを安全かつ自律的に学習するフレームワークを提案。安全性Q関数を用いて行動を検証し、必要に応じてバックトラックしながらロボットの形態に適応させる。

詳しい要約

1. どんなもの?

- 単一の第三者視点の人間動画から、mobile manipulation の多段タスクを安全かつ自律的に学習するフレームワーク SafeMimic を提案 - 家庭で役立つロボットを目指し、人間のデモを観察して新規タスクを獲得することを狙う - 学習過程は高コストな人間モニタリングへの依存を避け、安全かつ自律的に実行することを重視 - 7つのタスクで評価し、state-of-the-art ベースラインを上回る改善を示す

2. 先行研究と比べてどこがすごい?

- 単一の人間動画からの mobile manipulation 学習という難設定に取り組む点 - 第三者視点から一人称視点への変換、ロボット形態への適応、安全性確保を統合 - 人間モニタリングへの依存を減らし、安全かつ自律的な学習を実現する点 - 7タスクで state-of-the-art ベースラインを上回ると報告 - 具体的なベースライン名は要旨からは不明

3. 技術・手法の肝は?

- 入力動画をセグメントに分割し、意味的変化と人間の動作を推定 - 推定した戦略を第三者視点から egocentric reference に変換 - 人間の動作周辺で候補行動をサンプリングし、ロボット形態に適応 - simulation で学習した ensemble of safety Q-functions で安全性を検証 - receding horizon fashion で実行前に安全確認 - 安全な前進が不可能な場合は前状態へ backtracks し別の行動列を試行 - 必要に応じて trajectory と grasping modes を適応 - 成功戦略とタスク固有行動を獲得し、将来の探索を削減

4. どうやって有効だと検証した?

- 7つのタスクで実験を実施 - 異なるユーザー、異なる環境からの単一 human demonstration で評価 - state-of-the-art ベースラインとの比較で改善を報告 - 安全かつ効率的に多段 mobile manipulation を学習できることを示す - 具体的な評価指標や実験詳細は要旨からは不明

5. 議論はある?

- 安全性検証は simulation で学習した safety Q-functions に依存 - 実環境での安全性保証や sim-to-real のギャップについては要旨からは不明 - backtracking による再試行の効率や限界は要旨からは不明 - 異なるユーザー・環境への汎化は示されるが、その範囲や失敗条件は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的なベースライン名は不明 - 関連手法として Learning from Demonstration、imitation learning、mobile manipulation、safety Q-functions、receding horizon control の文献を挙げる - 単一動画からの human-to-robot imitation に関する研究を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Arpit Bahety, Arnav Balaji, Ben Abbatematteo, Roberto Martín-Martín

分類: cs.RO, cs.AI

原文アブストラクト

For robots to become efficient helpers in the home, they must learn to perform new mobile manipulation tasks simply by watching humans perform them. Learning from a single video demonstration from a human is challenging as the robot needs to first extract from the demo what needs to be done and how, translate the strategy from a third to a first-person perspective, and then adapt it to be successful with its own morphology. Furthermore, to mitigate the dependency on costly human monitoring, this learning process should be performed in a safe and autonomous manner. We present SafeMimic, a framework to learn new mobile manipulation skills safely and autonomously from a single third-person human video. Given an initial human video demonstration of a multi-step mobile manipulation task, SafeMimic first parses the video into segments, inferring both the semantic changes caused and the motions the human executed to achieve them and translating them to an egocentric reference. Then, it adapts the behavior to the robot's own morphology by sampling candidate actions around the human ones, and verifying them for safety before execution in a receding horizon fashion using an ensemble of safety Q-functions trained in simulation. When safe forward progression is not possible, SafeMimic backtracks to previous states and attempts a different sequence of actions, adapting both the trajectory and the grasping modes when required for its morphology. As a result, SafeMimic yields a strategy that succeeds in the demonstrated behavior and learns task-specific actions that reduce exploration in future attempts. Our experiments show that our method allows robots to safely and efficiently learn multi-step mobile manipulation behaviors from a single human demonstration, from different users, and in different environments, with improvements over state-of-the-art baselines across seven tasks

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI