日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2602.16705

HERO: 視覚による全身オープンボキャブラリ物体把持のためのヒューマノイドエンドエフェクタ制御学習

HERO: Learning Humanoid End-Effector Control for Visual Whole-Body Open-Vocabulary Object Grasping

シェア:XThreadsFacebookLINEはてブBluesky

大規模視覚モデルとシミュレーション訓練を組み合わせ、残差を考慮したエンドエフェクタ追従ポリシーにより、ヒューマノイドが実環境で多様な物体を把持できるモジュール型システムを実現した。

詳しい要約

1. どんなもの？

本論文は、ヒューマノイドロボットによる視覚的な全身操作（loco-manipulation）で、任意の物体を把持するためのモジュール型システムを提案する。中核はHEROと呼ばれる残差対応のEnd-Effector（EE）追従ポリシーで、古典的ロボティクスと機械学習を組み合わせ、EE追従誤差を2.44cmに低減する。システムはオフィスやカフェなど多様な実環境で、高さ43cmから92cmの面上のマグカップ、リンゴ、玩具などを把持できる。

2. 先行研究と比べてどこがすごい？

既存の模倣学習やsim2real手法は、EE制御とシーン理解を単一のend-to-end学習で同時に獲得するためスケールしにくい。本研究は、シーン理解に大規模視覚モデル、EE制御にシミュレーション訓練という各問題に最適なツールを組み合わせたモジュール型システムを採用。その結果、EE追従誤差を最強の先行手法より5.5倍改善し、汎化性能の高い全身操作を実現した。

3. 技術・手法の肝は？

HEROの技術的核心は、古典的ロボティクスと機械学習の融合にある。具体的には、a) 逆運動学（inverse kinematics）で残差EE目標を参照軌道に変換、b) 学習したニューラル順運動学モデル（learned neural forward model）で正確な順運動学を実現、c) 目標調整と再計画（goal adjustment and replanning）を行う。これらによりEE追従精度を大幅に向上させた。

4. どうやって有効だと検証した？

実世界の多様な環境（オフィスからカフェまで）でシステムを運用し、高さ43cmから92cmの面上の日用品（マグカップ、リンゴ、玩具など）をロボットが確実に把持できることを示した。また、モジュール単位およびend-to-endの系統的なテストにより、提案設計の有効性を検証した。

5. 議論はある？

本論文の貢献は、ヒューマノイドが日常物体と相互作用するための新しい訓練方法を開く点にあると主張している。ただし、具体的な限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照・比較されている研究は明示されていない。関連手法として、imitation learning、sim2real、end-to-end learning、large vision models、inverse kinematics、neural forward modelなどが挙げられる。同分野の定番として、模倣学習やsim2realを用いたロコマニピュレーション研究を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Runpei Dong, Ziyan Li, Arjun Gupta, Xialin He, Saurabh Gupta

分類: cs.RO, cs.CV

原文アブストラクト

Visual loco-manipulation of arbitrary in-the-wild objects requires accurate end-effector (EE) control and a generalizable understanding of the scene from visual inputs (eg, RGB-D images). Existing imitation and sim2real methods jointly learn both these aspects via monolithic end-to-end learning and are thus hard to scale. In this work, we bring to bear the best tools for each of these problems -- large vision models for generalizable scene understanding and simulated training for accurate EE control -- leading to an overall modular loco-manipulation system that exhibits strong generalization. Our core technical innovation is HERO, an accurate residual-aware EE tracking policy made possible by combining classical robotics with machine learning. It uses a) inverse kinematics to convert residual end-effector targets into reference trajectories, b) a learned neural forward model for accurate forward kinematics, and c) goal adjustment and replanning. Together, these innovations reduce the end-effector tracking error to 2.44cm, outperforming the strongest prior method by 5.5x. Our overall system operates in diverse real-world environments, from offices to coffee shops, where the robot reliably grasps various everyday objects (eg, mugs, apples, toys) on surfaces ranging from 43cm to 92cm in height. Systematic modular and end-to-end tests demonstrate the effectiveness of our proposed design. We believe our advances open up new ways of training humanoids to interact with daily objects.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →