日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2508.15669

巧みな操作のための政策アイドリングの活用

Exploiting Policy Idling for Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの巧みな操作において、政策が特定の状態で動かなくなる「アイドリング」を検出し、その状態に摂動を加えることで探索を促し、性能を向上させる手法を提案。

詳しい要約

1. どんなもの?

- 器用な dexterous manipulation のための学習済み policy が特定状態で動きを止める『policy idling』現象に着目した研究。 - idling を検出し、その状態で perturbation を与える Pause-Induced Perturbations (PIP) を提案。 - 訓練データ由来の idling を、探索と policy improvement に積極的に活用する枠組み。 - 模擬 dual-arm タスクと実機 insertion タスクで評価。

2. 先行研究と比べてどこがすごい?

- 従来は idling を訓練データの filtering や制御周波数の変更で緩和しようとしてきたが、他の性能を損なう可能性があった。 - PIP は idling を除去せず、検出して perturbation を加えることで問題的な basins of attraction からの脱出を狙う。 - 追加の supervision や training なしで test-time 性能を改善できる点が特徴。 - 結果の episode からの学習が従来手法より良い iterative policy improvement につながると報告。

3. 技術・手法の肝は?

- idling 状態を検出し、その状態で perturbation を適用する Pause-Induced Perturbations (PIP)。 - idling は高精度動作が必要な領域での小さな action など、訓練データの性質を反映して生じる。 - 検出した idling 状態への perturbation により、問題的な basins of attraction から escape を促す。 - 得られた episode を iterative policy improvement に利用。 - 追加の supervision や training を必要としない簡便な手法。

4. どうやって有効だと検証した?

- 複数の難易度の高い模擬 dual-arm タスクで test-time 性能を評価。 - 実世界の複雑な multi-finger manipulation を要する insertion タスクで評価。 - 実機 insertion タスクで絶対成功率が 15-35% 改善。 - 結果の episode からの学習が従来手法より良い iterative policy improvement につながることを確認。

5. 議論はある?

- idling は訓練データに由来し、grasp 準備や object insertion など高精度動作の領域で小さな action が含まれる場合に生じる。 - filtering や制御周波数変更による従来の緩和策は他の性能に悪影響を与えうる。 - idling は動作の重要な点で起こりやすいため、そこでの perturbation と学習が有効である可能性。 - 詳細な限界や一般性については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として言及される訓練データの filtering や制御周波数の変更といった prior works。 - dexterous manipulation の learning-based methods 全般。 - iterative policy improvement 関連手法。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Annie S. Chen, Philemon Brakel, Antonia Bronars, Annie Xie, Sandy Huang, Oliver Groth, Maria Bauza, Markus Wulfmeier, Nicolas Heess, Dushyant Rao

分類: cs.RO, cs.LG

原文アブストラクト

Learning-based methods for dexterous manipulation have made notable progress in recent years. However, learned policies often still lack reliability and exhibit limited robustness to important factors of variation. One failure pattern that can be observed across many settings is that policies idle, i.e. they cease to move beyond a small region of states when they reach certain states. This policy idling is often a reflection of the training data. For instance, it can occur when the data contains small actions in areas where the robot needs to perform high-precision motions, e.g., when preparing to grasp an object or object insertion. Prior works have tried to mitigate this phenomenon e.g. by filtering the training data or modifying the control frequency. However, these approaches can negatively impact policy performance in other ways. As an alternative, we investigate how to leverage the detectability of idling behavior to inform exploration and policy improvement. Our approach, Pause-Induced Perturbations (PIP), applies perturbations at detected idling states, thus helping it to escape problematic basins of attraction. On a range of challenging simulated dual-arm tasks, we find that this simple approach can already noticeably improve test-time performance, with no additional supervision or training. Furthermore, since the robot tends to idle at critical points in a movement, we also find that learning from the resulting episodes leads to better iterative policy improvement compared to prior approaches. Our perturbation strategy also leads to a 15-35% improvement in absolute success rate on a real-world insertion task that requires complex multi-finger manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI