日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/力覚/接触操作arXiv:2607.14236

力の注入に遅すぎることはない:反応的力注入によるVLAポストトレーニングの加速

Never Too Late for Force: Accelerating VLA Post-Training with Reactive Force Injection

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みの視覚言語行動(VLA)ポリシーに、接触反応性を追加するフレームワークLIFTを提案。力覚メモリとゼロ初期化クロスアテンションで反応的アクション専門家を移植し、オンラインDAggerループで分布シフトに対処。タオル折り、本挿入、ハノイの輪配置で性能向上を実証。

詳しい要約

1. どんなもの?

LIFT (Late Reactive Injection of Force for VLA Post-Training) は、事前学習済みの vision-language-action (VLA) ポリシーに接触反応性を追加する force-aware なポストトレーニングフレームワーク。元の action expert の隣に reactive action expert を移植し、事前学習済みの action weights から初期化、causal force memory と zero-initialized cross attention を通じて最近の 6D end-effector force を注入し、実行中にアクションを更新可能にする。

2. 先行研究と比べてどこがすごい?

事前学習済み VLA ポリシーは視覚駆動が主で、接触状態ではシーンが遮蔽されたり、深度が曖昧、小さな力の誤差がオフラインのデモ分布から逸脱する問題がある。LIFT は、接触反応性を追加しつつ一般的な操作知識を保持する点で、視覚のみのポストトレーニングより優れる。

3. 技術・手法の肝は?

手法の肝は、reactive action expert を元の action expert に並置し、事前学習済みの action weights から初期化すること。causal force memory と zero-initialized cross attention で最近の 6D end-effector force を注入し、実行中にアクションを更新。さらに、policy-dependent な分布シフトに対処するため、reactive force injection をオンライン DAgger ループと組み合わせ、オフラインのタスク整合データと人間が修正したオンラインロールアウトの混合で訓練する。

4. どうやって有効だと検証した?

タオル折り、本挿入、ハノイの輪配置の3タスクで、視覚のみのポストトレーニングと比較し、LIFT はより速く学習し、より高い性能に到達。アブレーションにより、reactive force memory とオンライン修正データの両方がロバストな接触リッチ操作に重要であることを示した。

5. 議論はある?

要旨からは、LIFT の一般化可能性や、異なる VLA バックボーンへの適用性、力センサのノイズへの頑健性などは不明。また、オンライン DAgger ループにおける人間の介入コストや、実世界での展開に関する議論は要旨に含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連手法として、DAgger アルゴリズム、VLA ポリシー(例:RT-2 や OpenVLA など)が挙げられる。また、接触リッチ操作のための force feedback を利用した研究(例:force-based imitation learning)も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yi Wang, Wendi Chen, Zimo Wen, Han Xue, Xueqi Li, Wenye Yu, Zhijie Chen, Hao Yang, Jun Lv, Chuan Wen, Cewu Lu

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Pretrained vision-language-action (VLA) policies provide strong language-conditioned manipulation knowledge, but they remain largely vision-driven and can struggle once manipulation enters contact states where the scene is occluded, depth is ambiguous, or small force errors push execution off the offline demonstration distribution. We present LIFT (Late Reactive Injection of Force for VLA Post-Training), a force-aware post-training framework that adds contact reactivity to a pretrained VLA policy while preserving its general manipulation knowledge. LIFT grafts a reactive action expert beside the original action expert, initializes it from pretrained action weights, and injects recent 6D end-effector force through causal force memory and zero-initialized cross attention, enabling actions to be refreshed during execution. To address the policy-dependent distribution shift of contact feedback, LIFT further couples reactive force injection with an online DAgger loop that trains on a mixture of offline task-alignment data and human-corrected online rollouts. Across towel folding, book insertion, and Hanoi ring placement, LIFT learns faster and reaches higher performance than vision-only post-training, while ablations show that reactive force memory and online corrective data are both important for robust contact-rich manipulation. Our code and data will be publicly available.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI