日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2507.08726

3Dシーン再構成による人からロボットへのハンドオーバー学習

Learning human-to-robot handovers through 3D scene reconstruction

シェア:XThreadsFacebookLINEはてブBluesky

RGB画像のみからスパースビューGaussian Splattingでシーンを再構成し、実機訓練なしで人からロボットへの物体受け渡し方策を学習・実環境に展開する手法を提案。

詳しい要約

1. どんなもの?

- 本論文は、RGB画像のみから人間からロボットへのhandoverタスクを学習する手法を提案する。 - 実ロボットでの訓練やデータ収集を必要とせず、sparse-view Gaussian Splatting再構成を活用する。 - 提案手法はH2RH-SGS(Human-to-Robot Handover using Sparse-View Gaussian Splatting)と呼ばれる。 - 再構成シーン内でロボットグリッパーに搭載したカメラの視点を変化させ、画像とアクションのペアを生成する。 - 16の家庭用品を用いたデモンストレーションでポリシーを訓練し、実環境に直接展開する。

2. 先行研究と比べてどこがすごい?

- 従来の実世界画像データからのロボットマニピュレーション学習は、物理環境での多数の試行を必要とした。 - シミュレーション利用はコスト効率が良いが、シミュレーションと実ロボットワークスペース間の視覚的ドメインギャップが大きな制限であった。 - 近年のGaussian Splatting視覚再構成手法はリアルな環境生成によりロボットマニピュレーションの新たな方向性を提供した。 - 本手法は、実ロボット訓練や実ロボットデータ収集を必要とせず、RGB画像のみから教師あり学習でhandoverを学習する最初の手法である。 - 実環境への直接展開を可能にし、視覚的ドメインギャップを軽減する点が優れている。

3. 技術・手法の肝は?

- sparse-view Gaussian Splattingを用いて人間からロボットへのhandoverシーンを再構成する。 - 再構成シーン内でロボットグリッパー搭載カメラの視点を変化させ、画像とアクションのペアを含むロボットデモンストレーションを生成する。 - シミュレートされたカメラ視点の変化を直接グリッパー姿勢の変化に変換する。 - 生成されたデモンストレーションを用いて教師あり学習でロボットポリシーを訓練する。 - 訓練したポリシーを実環境に直接展開する。

4. どうやって有効だと検証した?

- Gaussian Splatting再構成シーンと実世界の人間からロボットへのhandover実験の両方で評価を行った。 - 16の家庭用品を用いて収集したデモンストレーションでポリシーを訓練し、実環境に直接展開した。 - 実験結果から、H2RH-SGSがhandoverタスクの新しい効果的な表現であることを示した。 - 具体的な成功率や比較指標は要旨からは不明。

5. 議論はある?

- 本手法は実ロボット訓練や実データ収集を必要とせず、RGB画像のみから学習できる点で有望である。 - 視覚的ドメインギャップの軽減にGaussian Splatting再構成が有効である可能性を示唆する。 - 限られた物体(16の家庭用品)での検証であり、一般化や多様な物体への適用については議論の余地がある。 - 実環境への直接展開の頑健性や失敗事例に関する詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されているGaussian Splatting視覚再構成手法(例:3D Gaussian Splatting) - シミュレーションと実環境の視覚的ドメインギャップを扱うロボット学習研究(例:domain randomization) - 人間からロボットへのhandoverタスクの先行研究(例:learning from demonstration) - 実世界画像からのロボットマニピュレーション学習に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuekun Wu, Yik Lung Pang, Andrea Cavallaro, Changjae Oh

分類: cs.RO, cs.CV

原文アブストラクト

Learning robot manipulation policies from raw, real-world image data requires a large number of robot-action trials in the physical environment. Although training using simulations offers a cost-effective alternative, the visual domain gap between simulation and robot workspace remains a major limitation. Gaussian Splatting visual reconstruction methods have recently provided new directions for robot manipulation by generating realistic environments. In this paper, we propose the first method for learning supervised-based robot handovers solely from RGB images without the need of real-robot training or real-robot data collection. The proposed policy learner, Human-to-Robot Handover using Sparse-View Gaussian Splatting (H2RH-SGS), leverages sparse-view Gaussian Splatting reconstruction of human-to-robot handover scenes to generate robot demonstrations containing image-action pairs captured with a camera mounted on the robot gripper. As a result, the simulated camera pose changes in the reconstructed scene can be directly translated into gripper pose changes. We train a robot policy on demonstrations collected with 16 household objects and {\em directly} deploy this policy in the real environment. Experiments in both Gaussian Splatting reconstructed scene and real-world human-to-robot handover experiments demonstrate that H2RH-SGS serves as a new and effective representation for the human-to-robot handover task.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI