日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

軌道計画arXiv:2509.06031

GELATO: 幾何認識とマルチエージェント連携による複数指示対応の軌道再形成

GELATO: Multi-Instruction Trajectory Reshaping via Geometry-Aware Multiagent-based Orchestration

シェア:XThreadsFacebookLINEはてブBluesky

VLMとLLMで複数の自由形式指示を幾何制約に変換し、マルチエージェント最適化で軌道を滑らかかつ安全に再形成するフレームワーク。

詳しい要約

1. どんなもの?

- 人間-ロボットinteractionにおけるmulti-instruction対応のための、言語駆動trajectory reshapingフレームワークGELATOを提案 - 幾何環境awarenessとmulti-agent feedback orchestrationを統合 - 学習ベースではなく、VLMとLLMを用いて指示を幾何制約に変換しtrajectoryを適応 - simulationとreal-world実験で評価

2. 先行研究と比べてどこがすごい?

- 従来のlearning-based手法と異なり再学習なしでmulti-instructionを扱える - VLM-assisted multi-view pipelineでscene objectsを6D geometric primitivesとして自動登録 - LLMがfree-formな複数指示を明示的・検証可能なgeometric constraintsに変換 - observer-based refinement付きmulti-agent orchestrationで目的間のinteractionに対応 - よりsmooth・safe・interpretableなtrajectory修正を達成と主張

3. 技術・手法の肝は?

- VLM-assisted multi-view pipelineによる6D geometric primitivesの自動登録 - LLMによるfree-form multi-instructionの明示的・検証可能なgeometric constraintsへの変換 - それらをgeometric-aware vector field optimizationに統合し、smoothness・feasibility・clearanceを保ちつつ初期trajectoryを適応 - observer-based refinementを備えたmulti-agent orchestrationでmulti-instruction入力と目的間interactionを処理

4. どうやって有効だと検証した?

- simulationおよびreal-world experimentsを実施 - state-of-the-art baselinesと比較 - smoother・safer・more interpretableなtrajectory modificationを達成したと報告 - 具体的な指標・データセットは要旨からは不明

5. 議論はある?

- 再学習なしでsuccess rateを向上させると主張 - interpretabilityの向上を主張 - 限界・失敗ケース・計算コストなどの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されているlearning-based trajectory modification手法(具体名は要旨からは不明) - VLM-assisted multi-view pipelineに関連する6D object registration研究 - LLMによるinstruction-to-constraint変換研究 - geometric-aware vector field optimization関連研究 - multi-agent orchestrationおよびobserver-based refinement関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junhui Huang, Yuhe Gong, Changsheng Li, Xingguang Duan, Luis Figueredo

分類: cs.RO

原文アブストラクト

We present GELATO -- the first language-driven trajectory reshaping framework to embed geometric environment awareness and multi-agent feedback orchestration to support multi-instruction in human-robot interaction scenarios. Unlike prior learning-based methods, our approach automatically registers scene objects as 6D geometric primitives via a VLM-assisted multi-view pipeline, and an LLM translates free-form multiple instructions into explicit, verifiable geometric constraints. These are integrated into a geometric-aware vector field optimization to adapt initial trajectories while preserving smoothness, feasibility, and clearance. We further introduce a multi-agent orchestration with observer-based refinement to handle multi-instruction inputs and interactions among objectives -- increasing success rate without retraining. Simulation and real-world experiments demonstrate our method achieves smoother, safer, and more interpretable trajectory modifications compared to state-of-the-art baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI