日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2602.12532

CRAFT: 力覚対応カリキュラム微調整による接触の多いマニピュレーションへのVLAモデル適応

CRAFT: Adapting VLA Models to Contact-rich Manipulation via Force-aware Curriculum Fine-tuning

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルに力覚情報を優先的に学習させるカリキュラム微調整フレームワークCRAFTを提案し、接触の多い操作タスクでの成功率と汎化性能を向上させた。

詳しい要約

1. どんなもの?

- VLAモデルをcontact-rich manipulationに適応させる枠組みCRAFTを提案。 - force-aware curriculum fine-tuningを採用。 - variational information bottleneckでvision/language埋め込みを初期に制御。 - 力信号を優先学習させ、段階的に全マルチモーダル情報を復元。 - 同期したvision/language/forceデータ収集用のleader-follower teleoperationを設計。

2. 先行研究と比べてどこがすごい?

- 従来のVLAは一般的指示実行に強いがcontact-rich manipulationで苦戦。 - 高エントロピーなvision/languageと低エントロピーだが重要なforceの不均衡が課題。 - 知覚過依存と不安定制御を引き起こす。 - CRAFTはforce-aware curriculumで力信号を初期優先し、この不均衡を緩和。 - 多様なVLAアーキテクチャに適応可能。

3. 技術・手法の肝は?

- variational information bottleneckモジュールでvision/language埋め込みを正規化。 - 初期訓練でforce信号を優先させるcurriculum戦略。 - 段階的に全マルチモーダル情報へのアクセスを復元。 - homologous leader-follower teleoperationでvision/language/forceを同期収集。 - 多様なcontact-richタスクに対応。

4. どうやって有効だと検証した?

- 実世界実験でCRAFTがタスク成功率を一貫して改善。 - 未見物体や新規タスク変種への汎化を確認。 - 多様なVLAアーキテクチャへの適応を実証。 - 堅牢で汎化可能なcontact-rich manipulationを実現。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、teleoperationのスケーラビリティへの言及なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてVLAモデル、variational information bottleneck、curriculum learning、leader-follower teleoperationが挙げられる。 - 同分野の定番としてcontact-rich manipulationやforce-aware learningの論文を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yike Zhang, Yaonan Wang, Xinxin Sun, Kaizhen Huang, Zhiyuan Xu, Junjie Ji, Zhengping Che, Jian Tang, Jingtao Sun

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have shown a strong capability in enabling robots to execute general instructions, yet they struggle with contact-rich manipulation tasks, where success requires precise alignment, stable contact maintenance, and effective handling of deformable objects. A fundamental challenge arises from the imbalance between high-entropy vision and language inputs and low-entropy but critical force signals, which often leads to over-reliance on perception and unstable control. To address this, we introduce CRAFT, a force-aware curriculum fine-tuning framework that integrates a variational information bottleneck module to regulate vision and language embeddings during early training. This curriculum strategy encourages the model to prioritize force signals initially, before progressively restoring access to the full multimodal information. To enable force-aware learning, we further design a homologous leader-follower teleoperation system that collects synchronized vision, language, and force data across diverse contact-rich tasks. Real-world experiments demonstrate that CRAFT consistently improves task success, generalizes to unseen objects and novel task variations, and adapts effectively across diverse VLA architectures, enabling robust and generalizable contact-rich manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI