日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動操作arXiv:2610.40248

LLMが導く四足ロボットの平面移動操作

LLM-guided Planar Loco-Manipulation for Quadruped Robots

シェア:XThreadsFacebookLINEはてブBluesky

言語条件付きプランナが自然言語タスクとシーン表現からパラメータ化行動列を生成し、強化学習ポリシーで四足ロボットの押し動作を含む対話型ナビゲーションを実現した。

詳しい要約

1. どんなもの?

- 四足ロボットが散らかった環境で可動障害物を押しのけながら目標到達を目指す『interactive navigation』のための階層型フレームワーク - 上位は自然言語タスクと構造化scene表現を入力に、skill・対象object・geometric targetを可変長のパラメータ付きaction列として出力するlanguage-conditioned task planner - 下位はパラメータ付きactionを実行する強化学習policyで、新規にend-to-end whole-body planar pushing policyを導入 - 実機とsimulationの両方で評価

2. 先行研究と比べてどこがすごい?

- 従来のclassical plannerはgeometric rulesとタスク固有logicで物理interactionを符号化 - 学習ベース手法は低次元motion commandや事前定義action setにdecision spaceを制約しがち - 本研究はskill・object・geometric targetを同時選択する広いdecision spaceを扱う点が新しい - 提案plannerはinteractive navigationでclassical plannerとprompted frontier modelを上回る - 下位pushing policyはsimulationで93.3%成功(階層baselineは83.5%)、完了時間60%以上短縮

3. 技術・手法の肝は?

- LoRAでfine-tuneしたlanguage-conditioned task plannerが、自然言語タスクと構造化scene表現を可変長のパラメータ付きaction列へ変換 - 合成データで学習し、interactive navigationの背後にあるgeometric relationsを獲得 - 下位はend-to-end whole-body planar pushing policyを含む強化学習policy群がactionを実行 - 階層構造で上位計画と下位制御を分離

4. どうやって有効だと検証した?

- interactive navigationタスクでclassical plannerおよびprompted frontier modelと比較し優位を確認 - ゼロから学習したモデルとの比較で、構造化表現下ではcompositionにpretrainingが必須でない一方、pretrainingがgeometric targetの信頼性を高めることを示唆 - simulationでpushing policyの成功率93.3%対83.5%、完了時間60%以上短縮を計測 - 実機で44/45試行で正しいskill composition、34/45でend-to-end成功

5. 議論はある?

- 構造化表現があればcompositionにpretrainingは不要だが、pretrainingはgeometric targetの信頼性向上に寄与 - 実機ではskill composition成功率(44/45)に対しend-to-end成功率(34/45)が低く、下位実行や実環境の誤差が課題と示唆 - 具体的な失敗要因や限界の詳細は要旨からは不明

6. 次に読むべき論文は?

- 比較対象のclassical plannerおよびprompted frontier model(具体的名称は要旨からは不明) - LoRAによるfine-tuning - 階層baselineのpushing policy - 関連するlanguage-conditioned task planningやinteractive navigation、whole-body manipulationの研究(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Georges Jetti, Michael Khayyat, Jean-Pierre Sleiman, Stefano Arrigoni, Francesco Braghin

分類: cs.RO, cs.LG

原文アブストラクト

Robotic navigation typically assumes a collision-free route to the goal exists; in cluttered environments with movable obstacles, however, reaching the goal may require physical interaction. Classical solutions encode these behaviors through geometric rules and task-specific logic, while learning-based approaches often constrain the decision space to low-dimensional motion commands or predefined action sets. We instead consider a broader decision space, jointly selecting the skill, relevant object, and geometric target. Our language-conditioned task planner, fine-tuned with LoRA on synthetic data, maps natural-language tasks and a structured scene representation to variable-length sequences of parameterized actions, executed by low-level reinforcement-learning policies. The planner learns the geometric relations underlying interactive navigation and outperforms a classical planner and a prompted frontier model on interactive navigation tasks. Comparisons with models trained from scratch indicate that composition does not require pretraining when the representation is structured, whereas pretraining yields more reliable geometric targets. At the low level, we introduce an end-to-end whole-body planar pushing policy that achieves a 93.3% success rate in simulation, versus 83.5% for a hierarchical baseline, while reducing completion time by more than 60%. On hardware, the hierarchy yields the correct skill composition in 44/45 trials and end-to-end success in 34/45. Project website: https://anonymousprojects-dev.github.io/LLM-guided-LocoManipulation-Quadrupeds/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI