日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2610.33852

AdaDexTrack: 適応的で汎化可能な巧みな操作トラッキングのための動的変調

AdaDexTrack: Dynamic Modulation for Adaptive and Generalizable Dexterous Manipulation Tracking

シェア:XThreadsFacebookLINEはてブBluesky

言語指示による手先の巧みな操作を「変調付きトラッキング」として捉え、参照・物体表現・位置目標をオンラインで補正するモジュレータを強化学習で訓練し、未見軌道や実機へのゼロショット転移で高い頑健性を示した研究。

詳しい要約

1. どんなもの?

- 言語条件付きの dexterous manipulation を『modulated tracking』として再定式化するフレームワーク AdaDexTrack を提案する研究。 - 構成は2要素。 - distilled generalist tracker: スキルを担う追従器。 - modulator: tracker と密に結合し、3種のフィードバック補正を行う。 - reference modulation: 追従対象の継続的調整。 - object-latent modulation: 物体表現のオンライン適応。 - positional-target modulation: 状態依存の微小な実行補正。 - 目的は、単一の言語指示から長期的・接触リッチな hand-object interaction を実現すること。

2. 先行研究と比べてどこがすごい?

- 従来の fixed-reference tracking は小さな誤差が雪だるま式に増大する問題があった。 - 本研究は open-loop かつ固定参照の追従を、in-loop modulation に置き換える点が新しい。 - ノイズの多い合成参照、human-to-robot retargeting に伴う embodiment bias に対処する設計。 - 大規模評価で unseen-trajectory / unseen-object の両セットにおいて、平均追従誤差と成功率で prior SOTA を一貫して上回ると報告。

3. 技術・手法の肝は?

- distilled generalist tracker を skill carrier として用いる。 - tracker は言語条件付き hand-object trajectory のコーパス上で、大規模な specialist→generalist distillation により学習。 - modulator は同一タスク目的の下で RL により学習し、tracker との tight coupling を確保。 - modulator が行う3種の補正が肝。 - reference modulation: 何を追従するかを継続的に調整。 - object-latent modulation: 物体表現をオンライン適応し適切なスキルを動員。 - positional-target modulation: 状態依存の小さな実行時補正。

4. どうやって有効だと検証した?

- 大規模評価を実施し、unseen-trajectory と unseen-object の両セットで prior SOTA と比較。 - 平均 tracking error と success rate の両方で一貫して優位と報告。 - 実機での zero-shot sim-to-real transfer を実施。 - modulator を加えることで tracker-only 変種に対し大幅な改善を示す。 - これらにより robustness と generalization を検証したと主張。

5. 議論はある?

- 要旨からは不明(本文での限界・失敗事例・計算コスト等の議論は読み取れない)。 - 主張として、noisy text references からの drift-resistant な実行が可能になると述べる。 - modulator の寄与は実機比較で tracker-only に対する利得として示されるが、各補正の個別寄与の分析は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で明示的に参照・比較されている個別研究名は無い。 - 関連手法として、language-conditioned dexterous manipulation、human-to-robot retargeting、specialist-to-generalist distillation、RL による modulator 学習、sim-to-real transfer の各分野の定番研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianibieke Adalibieke, Qianwei Han, Xueyi Liu, Yuzhe Qin, Li Yi

分類: cs.RO

原文アブストラクト

Language is a natural way to command robots, but converting a single instruction into a long-horizon, contact-rich hand-object interaction remains challenging: synthesized references are noisy, human-to-robot retargeting introduces embodiment bias, and fixed-reference tracking lets small errors snowball. We address this with AdaDexTrack, a modulator-in-the-loop framework for language-conditioned manipulation tracking. A distilled generalist tracker serves as the skill carrier, while a tightly aligned modulator performs three feedback corrections: reference modulation (continual adjustment of what to track), object-latent modulation (online adaptation of the object representation to recruit suitable skills), and positional-target modulation (small state-dependent refinements for execution). The tracker is learned via large-scale specialist to generalist distillation on a corpus of language-conditioned hand-object trajectories; the modulator is trained with RL under the same task objective, ensuring tight coupling. Across large-scale evaluations, AdaDexTrack consistently outperforms prior SOTA on unseen-trajectory and unseen-object sets in both average tracking error and success rate, demonstrating robustness and generalization. We further show zero-shot sim-to-real transfer on real hardware, where adding the modulator yields substantial gains over a tracker-only variant. AdaDexTrack reframes language-conditioned dexterous manipulation as modulated tracking, replacing the open-loop, fixed-reference tracking with in-loop modulation that adjusts the reference, object latent, and positional target, yielding drift-resistant execution from noisy text references.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI