日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LLM/制御設計arXiv:2608.07004

複雑な動的システムにおけるフィードバックコントローラ設計のための大規模言語モデルのベンチマーキングと推論蒸留

Benchmarking and Reasoning Distillation of Large Language Models for Feedback Controller Design in Complex Dynamical Systems

シェア:XThreadsFacebookLINEはてブBluesky

複雑な動的システムのフィードバックコントローラ設計におけるLLMの性能を評価するベンチマークを構築し、エッジ展開向けに推論蒸留で小型モデルを開発した。

詳しい要約

1. どんなもの?

LLMのフィードバックコントローラ設計能力を評価・向上させるためのベンチマークと蒸留手法を提案した研究。複雑な力学システム(多自由度、非線形、連成など)を対象とし、6種類のLLM(商用3種、オープンソース3種)を評価。さらに、エッジ展開可能な軽量モデルをreasoning distillationで開発し、実機(空気圧人工筋駆動ロボットアーム)で検証した。

2. 先行研究と比べてどこがすごい?

既存のベンチマークは線形1自由度システムと大規模APIモデルに焦点を当てていたが、本研究は複雑なシステム(多自由度、システムタイプ、連成レベル、減衰領域、コントローラタイプの5次元)をカバーするCoDyControlBenchを導入。また、エッジ展開の実現可能性を考慮し、軽量モデルの蒸留手法を提案・評価した点が新しい。

3. 技術・手法の肝は?

CoDyControlBenchは132のシステム構成からなる。6つのLLM(GPT, Gemini, Claude, GLM, DeepSeek, Qwen)を3回独立実行で評価。設計成功率を指標とした。エッジ展開用に、1.5Bパラメータのモデルをreasoning distillation(推論過程を蒸留)で開発し、answer distillation(回答のみ蒸留)とベースモデルと比較した。

4. どうやって有効だと検証した?

CoDyControlBench上で6モデルを評価し、GPTが最高成功率94.8%、Qwenが最低50.0%と報告。次元別の成功率変動を分析し、DoFとコントローラタイプが大きな影響を与えることを示した。GPTとQwenの比較から、性能差は主に制御設計知識(ゲイン選択、過渡制限機構)に起因すると分析。蒸留モデルはCoDyControlBenchでanswer-distilledとベースモデルを上回り、1-6 DoFで安定した性能を維持。さらに、空気圧人工筋駆動ロボットアームの3つの物理試験で目標追跡に成功した。

5. 議論はある?

要旨からは、モデル間の性能差の要因分析や、蒸留モデルの実機での有効性が示されたが、他のシステムやタスクへの一般化、蒸留の詳細なメカニズム、商用モデルとオープンソースモデルの差の理由などについては議論が限定的。また、成功率の定義や評価の厳密性、物理試験の詳細(外乱、ロバスト性など)は不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、LLMの制御設計への応用に関する既存研究(例:LLM-based controller design)、ベンチマーク設計(例:HumanEval, GSM8K)、蒸留手法(例:Distilling step-by-step)などが挙げられる。具体的には、LLMの推論能力を評価するベンチマークや、小型モデルへの知識蒸留に関する論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhongchao Zhou, Yixuan Xie, Wenwei Yu, Yuxi Lu, Yaonan Zhu, Qian Niu, Yutaka Matsuo, Yusuke Iwasawa

分類: cs.RO, cs.SY, eess.SY

原文アブストラクト

Although remarkable capabilities have been demonstrated by Large Language Models (LLMs) across scientific domains, feedback controller design remains underexplored. Existing benchmarks focus mainly on linear single-Degree-of-Freedom (DoF) systems and large API-hosted models, leaving performance on complex controller-design tasks and feasibility for edge deployment unclear. To address these limitations, we introduce the Complex Dynamics-to-Control Benchmark for Large Language Models (CoDyControlBench), comprising 132 system configurations across five evaluation dimensions: number of DoF, system type, coupling level, damping regime, and controller type. Six state-of-the-art LLMs were evaluated over three independent runs, including three commercial models (GPT, Gemini, and Claude) and three open-source models (GLM, DeepSeek, and Qwen). GPT achieved the highest design success rate at 94.8\%, whereas Qwen showed the lowest rate at 50.0\%. Across the benchmark dimensions, DoF and controller type exhibited the largest model-averaged variations in design success, with success-rate ranges of 36.3\% and 17.6\%, respectively, exceeding those associated with system type, coupling level, and damping regime. Comparison of GPT and Qwen showed that their performance gap arose mainly from the control-design knowledge, particularly gain selection and the use of transient-limiting mechanisms. For edge deployment, a specialized 1.5B-parameter model was developed through reasoning distillation. The reasoning-distilled model outperformed the answer-distilled and base model on CoDyControlBench, maintained stable performance across 1-6 DoFs, and achieved successful traget tracking in all three physical trials on a pneumatic-artificial-muscle-driven robotic arm. These results establish a benchmark baseline and highlight the potential of lightweight, edge-deployable controller-design models.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI