TORL-VLA: 触覚誘導による接触を伴う操作のためのオンライン強化学習

- Vision-Language-Action (VLA) モデルに tactile feedback を組み込んだロボットマニピュレーションの枠組み。 - 従来の tactile/force feedback 付き VLA は offline policy として運用され、接触条件が訓練分布からずれると online adaptation ができず、不適切な接触力や非効率な retry が生じる問題があった。 - 本研究は TORL-VLA を提案し、tactile feedback と policy refinement を組み合わせた tactile-guided online reinforcement learning framework を構築。 - contact-rich manipulation を対象とし、latch manipulation、coffee-cup placement、egg handling などの long-horizon タスクで評価。

- 従来の tactile/force feedback を導入した VLA は offline policy として展開され、接触条件の分布シフトに対して online adaptation ができない点が課題だった。 - TORL-VLA は tactile-guided online RL により、接触条件の変化に対して policy をオンラインで refine できる点が新しい。 - また、mixed exploratory policy-generated data と human-intervention data からの学習を安定化する intervention-censored critic を導入し、介入後の成功を介入前の policy 生成行動に誤って帰属させる問題を防ぐ。 - 結果として、strong baselines に対して subtask および full-task の成功率、time-bounded execution efficiency を改善。

- tactile-derived wrench-aware VLA を導入し、reference actions と future wrench sequences を予測。 - lightweight online RL module により、VLA が出力する reference actions を refine。 - 学習データは exploratory policy が生成したデータと human-intervention データが混在。 - intervention-censored critic を導入し、介入後の成功を介入前の policy-generated actions に誤って credit しないようにする。 - これにより contact-rich manipulation における online adaptation と安定した学習を両立。

- real-robot experiments を実施。 - long-horizon contact-rich tasks として latch manipulation、coffee-cup placement、egg handling を対象。 - subtask level と full-task level の成功率、および time-bounded execution efficiency を strong baselines と比較。 - TORL-VLA がこれらの指標で改善を示したと報告。

- 要旨からは、提案手法の限界や失敗事例、計算コスト、人間介入の頻度や負担、他タスクへの汎化性についての議論は明示されていない。 - 議論の詳細は要旨からは不明。

- 要旨で参照/比較されている研究として、tactile または force feedback を VLA に導入した recent studies が挙げられるが、個別の論文名は要旨からは不明。 - 関連手法として Vision-Language-Action (VLA) モデル、tactile/force feedback 付き VLA、online reinforcement learning、human-intervention を用いた学習が挙げられる。 - 同分野の定番として、contact-rich manipulation における imitation learning や offline RL、tactile sensing を用いたロボット学習に関する研究を次に読むとよい。