日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2609.07111

LLM生成仕様から学習する四足歩行

From LLM-Generated Specifications to Learned Quadruped Locomotion

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルを用いて自然言語の歩行目標からパラメトリック時相論理仕様を自動生成し、それを報酬関数に変換して四足歩行ポリシーを強化学習で訓練する手法を提案した。

詳しい要約

1. どんなもの?

本研究は、LLMを用いてParametric Signal Temporal Logic (PSTL)仕様を自動生成し、それを報酬関数に変換して四足歩行ロボットの移動ポリシーを強化学習で訓練する手法を提案している。自然言語の移動目標と制約付き仕様文法から、GPT-5.5とQwen 3.6がSTLテンプレートを生成し、専門家の軌跡を用いてパラメータを調整し、デモと整合する仕様のみを保持する。その後、滑らかな有限履歴報酬関数に変換し、Proximal Policy Optimization (PPO)をMuJoCo XLA (MJX)で用いてポリシーを訓練する。

2. 先行研究と比べてどこがすごい?

従来の強化学習では手作業の報酬関数設計が必要であり、局所報酬が大域的な望ましい挙動を誘発するか不明瞭だった。STLなどの形式的仕様からの報酬は解釈性を高めるが、STL仕様の記述自体に専門知識が必要だった。本研究はLLMがこのギャップを埋めるかを検証し、Text2RewardスタイルのLLM生成報酬コードや手設計報酬、専門家切替オラクルと比較して、高速度での生存率とコマンド成功率で優位性を示した。

3. 技術・手法の肝は?

手法の肝は、LLMによるPSTLテンプレート生成、専門家軌跡を用いたパラメータ調整、仕様の整合性フィルタリング、そして仕様を滑らかな有限履歴報酬関数に変換する点にある。また、gait-aware(歩行トロット、トロット、バウンドを指定)とgait-agnostic(接触パターンをタスク目的から創発させる)の2設定を評価している。

4. どうやって有効だと検証した?

検証は、gait-awareとgait-agnosticの両設定で、手設計報酬、Text2RewardスタイルのLLM生成報酬コード、専門家切替オラクルと比較した。速度0.3〜2.1 m/sで生存率とコマンド成功率を測定し、gait-aware Qwen 3.6仕様は全速度で100%の生存率とコマンド成功率を達成し、高速度で目標歩容に一致した。一方、Text2Rewardは1.9 m/s以上で両指標とも0%だった。

5. 議論はある?

要旨からは、LLM生成仕様の品質や一般化の限界、gait-agnostic設定での性能、実機への適用可能性などに関する議論は明示されていない。また、LLMの選択(GPT-5.5 vs Qwen 3.6)による性能差の要因や、仕様生成の失敗例についても不明である。

6. 次に読むべき論文は?

要旨で参照されている研究として、Text2RewardスタイルのLLM生成報酬コード、Signal Temporal Logic (STL)を用いた報酬整形、専門家切替オラクルが挙げられる。次に読むべき論文としては、これらの手法の詳細を扱った論文が適切である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Merve Atasever, Keyan Azbijari, Cagan Bakirci, Alfredo Reina Corona, Tolga Izdas, Richard Yang, Erdem Biyik, Jyotirmoy V. Deshmukh

分類: cs.RO, cs.AI

原文アブストラクト

Quadruped robot locomotion policies are often trained using reinforcement learning, which in turn relies heavily on hand-crafted reward functions. Designing reward functions requires substantial manual engineering, and it is often unclear which local rewards will induce the desired global behavior. Shaped rewards from formal specifications in languages like Signal Temporal Logic (STL) can make rewards more interpretable, but writing STL specifications itself still requires domain expertise. We study whether large language models (LLMs) can fill this gap by generating Parametric Signal Temporal Logic (PSTL) specifications that are subsequently used for policy learning. Given a natural language locomotion objective and a constrained specification grammar, GPT-5.5 and Qwen 3.6 independently propose STL templates for command tracking, safety, and gait structure. We instantiate the parameters of the generated PSTL templates using expert trajectories and retain only specifications that are consistent with demonstrated expert behavior. The resulting specifications are then transformed into smooth, finite-history reward functions and used to train a quadruped locomotion policy with Proximal Policy Optimization (PPO) in MuJoCo XLA (MJX). We evaluate both \emph{gait-aware} and \emph{gait-agnostic} settings. The former specifies walking-trot, trot, and bound regimes, while the latter allows contact patterns to emerge from the task objective. We compare against hand-engineered rewards, Text2Reward-style LLM-generated reward code, and an expert-switching oracle. Gait-aware Qwen 3.6 specifications achieved 100\% survival and command success across all tested speeds (0.3--2.1 m/s) and matched the target gait at high speeds, whereas Text2Reward achieved 0\% for both metrics at $\geq 1.9$ m/s. Videos: https://stl-locomotion.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI