日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2605.02600

CoRAL: 接触リッチなロボット操作のための適応型LLMベース制御

CoRAL: Contact-Rich Adaptive LLM-based Control for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

LLMを直接制御器として使うのではなく、コスト関数の設計者として用い、サンプリングベースの運動計画器と組み合わせることで、接触を伴う操作タスクをゼロショットで計画するモジュール型フレームワークを提案した。

詳しい要約

1. どんなもの?

- 接触を伴うロボットマニピュレーションのためのモジュラーフレームワーク - LLMを直接のコントローラではなく、コスト設計者として使用 - サンプリングベースのMPPIと組み合わせ、ゼロショット計画を実現 - 視覚データの物理パラメータの曖昧さに対処するため、神経記号的適応ループを導入 - シミュレーションと実機で検証し、未知の接触リッチタスクで成功率を50%以上向上

2. 先行研究と比べてどこがすごい?

- 従来のVLAや基盤モデルベースのプランナーと比較して、未知の接触リッチシナリオで平均50%以上の成功率向上 - ブラックボックスポリシーと異なり、LLMをコスト設計に用いることで適応性と解釈性を向上 - 物理的接地を欠くLLM/VLMの課題を、オンラインシステム同定と神経記号的適応で克服 - シミュレーションと実機のギャップを適応的な物理理解で効果的に処理

3. 技術・手法の肝は?

- 階層的アーキテクチャ:高レベル推論(LLM)と低レベル制御(MPPI)を分離 - LLMが文脈に応じた目的関数を合成し、MPPIが動作計画を実行 - VLMが質量や摩擦などの環境ダイナミクスのセマンティック事前分布を提供 - オンラインシステム同定により物理パラメータをリアルタイムで明示的に洗練 - LLMが相互作用フィードバックに基づきコスト関数構造を反復的に調整 - 検索ベースのメモリユニットで成功戦略を再利用

4. どうやって有効だと検証した?

- シミュレーションと実世界ハードウェアの両方で検証 - 壁に対して物体を外因性接触を利用してフリップするなど、挑戦的で新規なタスクを実施 - 最先端のVLAおよび基盤モデルベースのプランナーベースラインと比較 - 未知の接触リッチシナリオで成功率を平均50%以上向上させることを確認

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- VLA (Vision-Language-Action) モデル - 基盤モデルベースのプランナー - MPPI (Model Predictive Path Integral) 制御 - オンラインシステム同定 - 神経記号的適応

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Berk Çiçek, Mert K. Er, Ozgur S. Oguz

分類: cs.RO, cs.AI

原文アブストラクト

While Large Language Models (LLMs) and Vision-Language Models (VLMs) demonstrate remarkable capabilities in high-level reasoning and semantic understanding, applying them directly to contact-rich manipulation remains a challenge due to their lack of explicit physical grounding and inability to perform adaptive control. To bridge this gap, we propose CoRAL (Contact-Rich Adaptive LLM-based control), a modular framework that enables zero-shot planning by decoupling high-level reasoning from low-level control. Unlike black-box policies, CoRAL uses LLMs not as direct controllers, but as cost designers that synthesize context-aware objective functions for a sampling-based motion planner (MPPI). To address the ambiguity of physical parameters in visual data, we introduce a neuro-symbolic adaptation loop: a VLM provides semantic priors for environmental dynamics, such as mass and friction estimates, which are then explicitly refined in real time via online system identification, while the LLM iteratively modulates the cost-function structure to correct strategic errors based on interaction feedback. Furthermore, a retrieval-based memory unit allows the system to reuse successful strategies across recurrent tasks. This hierarchical architecture ensures real-time control stability by decoupling high-level semantic reasoning from reactive execution, effectively bridging the gap between slow LLM inference and dynamic contact requirements. We validate CoRAL on both simulation and real-world hardware across challenging and novel tasks, such as flipping objects against walls by leveraging extrinsic contacts. Experiments demonstrate that CoRAL outperforms state-of-the-art VLA and foundation-model-based planner baselines by boosting success rates over 50% on average in unseen contact-rich scenarios, effectively handling sim-to-real gaps through its adaptive physical understanding.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI