日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

キャリブレーション/継続学習arXiv:2604.15814

オープンワールドロボット操作のための継続的手眼較正

Continual Hand-Eye Calibration for Open-world Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作における手眼較正の継続学習フレームワークを提案し、空間的リプレイ戦略と構造保存蒸留により、逐次的に遭遇する新しいシーンへの適応時の破滅的忘却を軽減する。

詳しい要約

1. どんなもの?

- ロボットのopen-world manipulationにおけるhand-eye calibrationを継続学習で実現する枠組み。 - 深層学習ベースのcalibrationモデルが未知シーンへの適応時にcatastrophic forgettingを起こす問題に対処。 - 新たなmanipulation sceneが順次到来しても、過去シーンの精度を保ちつつ新シーンに適応し、multi-scene calibration能力を蓄積する。

2. 先行研究と比べてどこがすごい?

- 従来の深層学習calibrationモデルはopen-worldのシーン変化でcatastrophic forgettingを生じる。 - 単純なrehearsal-based continual learningではこの問題を十分に緩和できない。 - 本手法はspatially replay strategyとstructure-preserving distillationにより、過去シーンの精度維持と新シーン適応を両立。

3. 技術・手法の肝は?

- Spatial-Aware Replay Strategy (SARS): 各scene pose spaceを幾何的に均一にカバーするreplay bufferを構築。 - 冗長な隣接フレームを最大情報量の視点で置換。 - Structure-Preserving Dual Distillation (SPDD): localization知識をcoarse scene layoutとfine pose precisionに分解し、それぞれ蒸留。 - 両タイプの忘却を緩和。 - 新シーン到着時、SARSが全過去シーンから幾何的代表サンプルを提供し、SPDDが構造化蒸留を適用。 - 新シーン訓練後、SARSが選択サンプルをreplay bufferに追加し将来のrehearsalに利用。

4. どうやって有効だと検証した?

- 複数の公開データセットで実験。 - 顕著なanti scene forgetting性能を示し、過去シーンの精度を維持しつつ新シーンへの適応も保持。 - フレームワークの有効性を確認。

5. 議論はある?

- 要旨からは不明。 - 具体的な限界や失敗ケース、計算コスト、replay bufferサイズの影響などは記述されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: rehearsal-based continual learning、deep learning-based calibration models。 - 関連手法: catastrophic forgetting対策としてのknowledge distillation、experience replay。 - 同分野の定番: continual learning for robotics、visual localization、hand-eye calibration。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fazeng Li, Gan Sun, Chenxi Liu, Yao He, Wei Cong, Yang Cong

分類: cs.CV, cs.RO

原文アブストラクト

Hand-eye calibration through visual localization is a critical capability for robotic manipulation in open-world environments. However, most deep learning-based calibration models suffer from catastrophic forgetting when adapting into unseen data amongst open-world scene changes, while simple rehearsal-based continual learning strategy cannot well mitigate this issue. To overcome this challenge, we propose a continual hand-eye calibration framework, enabling robots to adapt to sequentially encountered open-world manipulation scenes through spatially replay strategy and structure-preserving distillation. Specifically, a Spatial-Aware Replay Strategy (SARS) constructs a geometrically uniform replay buffer that ensures comprehensive coverage of each scene pose space, replacing redundant adjacent frames with maximally informative viewpoints. Meanwhile, a Structure-Preserving Dual Distillation (SPDD) is proposed to decompose localization knowledge into coarse scene layout and fine pose precision, and distills them separately to alleviate both types of forgetting during continual adaptation. As a new manipulation scene arrives, SARS provides geometrically representative replay samples from all prior scenes, and SPDD applies structured distillation on these samples to retain previously learned knowledge. After training on the new scene, SARS incorporates selected samples from the new scene into the replay buffer for future rehearsal, allowing the model to continuously accumulate multi-scene calibration capability. Experiments on multiple public datasets show significant anti scene forgetting performance, maintaining accuracy on past scenes while preserving adaptation to new scenes, confirming the effectiveness of the framework.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI