日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2508.09855

人間とロボットの協働に向けて:3Dシーンから受け渡し動作を学習する

Toward Human-Robot Teaming: Learning Handover Behaviors from 3D Scenes

シェア:XThreadsFacebookLINEはてブBluesky

人間からロボットへの物体受け渡しを対象に、実機データや実機訓練なしでRGB画像のみから方策を学習する手法を提案。Gaussian Splattingで再構成したシーンからロボットのデモを生成し、衝突を避けつつ安定把持で受け取れるようにした。

詳しい要約

1. どんなもの?

- 本研究は、人間からロボットへの物体受け渡し(human-to-robot handover)に焦点を当てたHuman-Robot Teaming (HRT) ポリシーの学習手法を提案する。 - 実ロボットでの訓練や実データ収集を必要とせず、RGB画像のみからポリシーを学習する。 - ロボットが人間の手との衝突を避けつつ安定して物体を受け取ることを目的とする。 - スパースビューのGaussian Splatting再構成を活用してデモンストレーションを生成する。

2. 先行研究と比べてどこがすごい?

- 従来のHRTシステムは大規模な人間-ロボットインタラクションデータセットに依存していた。 - 実世界の画像データからロボット操作ポリシーを学習するには、物理環境での多数のロボット行動試行が必要だった。 - シミュレーション訓練はコスト効率が良いが、シミュレーションと実ロボットワークスペース間の視覚的ドメインギャップが大きな制限となっていた。 - 提案手法は実ロボット訓練や実データ収集を不要にし、RGB画像のみから学習する点で先行研究と異なる。

3. 技術・手法の肝は?

- スパースビューのGaussian Splatting再構成を用いて人間-ロボット受け渡しシーンを再構築する。 - 再構成シーン内でロボットグリッパーに搭載されたカメラの視点を変更し、画像-行動ペアを含むロボットデモンストレーションを生成する。 - シミュレートされたカメラポーズの変化を直接グリッパーポーズの変化に変換できる。 - 生成されたデモンストレーションからポリシーを学習する。

4. どうやって有効だと検証した?

- Gaussian Splattingで再構成されたシーンでの実験と、実世界での人間-ロボット受け渡し実験の両方で有効性を検証した。 - 実験により、提案手法がhuman-to-robot handoverタスクの新しい効果的な表現として機能することを示した。 - よりシームレスで堅牢なHRTに貢献することを確認した。

5. 議論はある?

- 要旨からは不明。 - ただし、シミュレーションと実世界の視覚的ドメインギャップへの対処が議論の焦点となる可能性がある。 - 実世界実験での性能や限界についての詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Gaussian Splatting、human-to-robot handover、Human-Robot Teaming (HRT)、sim-to-real transfer、robot manipulation policies from RGB images などが挙げられる。 - 同分野の定番として、imitation learning、domain randomization、vision-based manipulation の論文を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuekun Wu, Yik Lung Pang, Andrea Cavallaro, Changjae Oh

分類: cs.RO, cs.CV, cs.HC

原文アブストラクト

Human-robot teaming (HRT) systems often rely on large-scale datasets of human and robot interactions, especially for close-proximity collaboration tasks such as human-robot handovers. Learning robot manipulation policies from raw, real-world image data requires a large number of robot-action trials in the physical environment. Although simulation training offers a cost-effective alternative, the visual domain gap between simulation and robot workspace remains a major limitation. We introduce a method for training HRT policies, focusing on human-to-robot handovers, solely from RGB images without the need for real-robot training or real-robot data collection. The goal is to enable the robot to reliably receive objects from a human with stable grasping while avoiding collisions with the human hand. The proposed policy learner leverages sparse-view Gaussian Splatting reconstruction of human-to-robot handover scenes to generate robot demonstrations containing image-action pairs captured with a camera mounted on the robot gripper. As a result, the simulated camera pose changes in the reconstructed scene can be directly translated into gripper pose changes. Experiments in both Gaussian Splatting reconstructed scene and real-world human-to-robot handover experiments demonstrate that our method serves as a new and effective representation for the human-to-robot handover task, contributing to more seamless and robust HRT.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI