日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動操作arXiv:2605.03846

SigLoMa: 自己中心視覚によるオープンワールド四脚移動操作の学習

SigLoMa: Learning Open-World Quadrupedal Loco-Manipulation from Ego-Centric Vision

シェア:XThreadsFacebookLINEはてブBluesky

四脚ロボットが自己搭載カメラの視覚情報のみを用いて、動的な物体の掴み上げと移動を行うフレームワークSigLoMaを提案した論文。

詳しい要約

1. どんなもの?

- 四足歩行ロボットの open-world loco-manipulation システム SigLoMa を提案。 - 完全オンボードで ego-centric vision に基づく pick-and-place フレームワーク。 - 外部 motion capture や off-board 計算を不要にし、5Hz の open-vocabulary detector のみで動作。 - 動的な loco-manipulation を複数タスクで実行し、専門家の teleoperation に匹敵する性能を達成。

2. 先行研究と比べてどこがすごい?

- 従来の exteroception を用いる reinforcement learning は sample inefficiency と sim-to-real gap が大きい。 - 既存システムは高価な外部 motion capture と off-board 計算に依存。 - SigLoMa は完全オンボードで、Sigma Points により高い scalability と native sim-to-real alignment を実現。 - 低頻度知覚と高頻度制御の周波数ギャップを ego-centric Kalman Filter で橋渡し。

3. 技術・手法の肝は?

- Sigma Points: 軽量な幾何学的表現で exteroception を実現し、scalability と sim-to-real alignment を保証。 - Ego-centric Kalman Filter: 低頻度知覚から高頻度状態推定を提供し、周波数ギャップを解消。 - Active Sampling Curriculum guided by Hint Poses: sample inefficiency を軽減。 - Temporal encoding と simulated random-walk drift でロボットの構造的視覚盲点に対処。

4. どうやって有効だと検証した?

- 実世界実験で検証。 - 5Hz (200 ms latency) の open-vocabulary detector のみを使用。 - 複数のタスクで動的 loco-manipulation を成功裏に実行。 - 専門家の human teleoperation に匹敵する性能を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として reinforcement learning を用いた quadrupedal loco-manipulation、sim-to-real transfer、ego-centric vision に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shiyi Chen, Haiyi Liu, Mingye Yang, Jiaqi Zhang, Debing Zhang

分類: cs.RO

原文アブストラクト

Designing an open-world quadrupedal loco-manipulation system is highly challenging. Traditional reinforcement learning frameworks utilizing exteroception often suffer from extreme sample inefficiency and massive sim-to-real gaps. Furthermore, the inherent latency of visual tracking fundamentally conflicts with the high-frequency demands of precise floating-base control. Consequently, existing systems lean heavily on expensive external motion capture and off-board computation. To eliminate these dependencies, we present SigLoMa, a fully onboard, ego-centric vision-based pick-and-place framework. At the core of SigLoMa is the introduction of Sigma Points, a lightweight geometric representation for exteroception that guarantees high scalability and native sim-to-real alignment. To bridge the frequency divide between slow perception and fast control, we design an ego-centric Kalman Filter to provide robust, high-rate state estimation. On the learning front, we alleviate sample inefficiency via an Active Sampling Curriculum guided by Hint Poses, and tackle the robot's structural visual blind spots using temporal encoding coupled with simulated random-walk drift. Real-world experiments validate that, relying solely on a 5Hz (200 ms latency) open-vocabulary detector, SigLoMa successfully executes dynamic loco-manipulation across multiple tasks, achieving performance comparable to expert human teleoperation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI