日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

屋外自律フォークリフトarXiv:2508.15427

Lang2Lift: 言語ガイドによる屋外産業用パレットハンドリングのための自律フォークリフトシステム

Lang2Lift: A Language-Guided Autonomous Forklift System for Outdoor Industrial Pallet Handling

シェア:XThreadsFacebookLINEはてブBluesky

自然言語指示で指定したパレットを認識・姿勢推定し、屋外で自律的にフォーク挿入・持ち上げを行うフォークリフトシステムを構築・実機評価した。

詳しい要約

1. どんなもの?

- 屋外の物流・建設現場での pallet handling を自動化する、言語指示で操作できる end-to-end の自律 forklift システム「Lang2Lift」 - オペレータが自然言語で対象 pallet を指定でき、積載物や配置が異なる複数 pallet から柔軟に選択可能 - foundation-model ベースの知覚と motion planning・control を閉ループの autonomy pipeline に統合 - 対象 pallet の言語接地な視覚認識・segmentation、6D pose estimation、幾何学的 refinement を経て挿入可能な pose を生成し、forklift の planning/control に直接結合して自律 pick-up を実行

2. 先行研究と比べてどこがすごい?

- 屋外 logistics・construction は非構造シーン、多様な pallet 配置、環境変化のため自動化が困難という課題設定 - 既存研究との具体的な比較は要旨からは不明 - 特徴として、自然言語による対象 pallet 選択を end-to-end の自律 forklift パイプラインに組み込み、実世界の屋外環境で運用・評価している点を提示

3. 技術・手法の肝は?

- foundation-model ベースの知覚モジュールを採用 - 言語接地な視覚認識で対象 pallet を特定・segment - 続いて 6D pose estimation と幾何学的 refinement を行い、manipulation 可能な挿入 pose を生成 - 得られた pose 推定を forklift の planning・control モジュールへ直接結合し、閉ループで自律 pick-up maneuver を実行

4. どうやって有効だと検証した?

- ADAPT autonomous outdoor forklift platform 上にシステムを deploy し、実世界の多様なシナリオで評価 - 評価シナリオには cluttered scenes、変動する照明、異なる payload 構成を含む - tolerance-based pose evaluation により、fork 挿入成功に十分な精度を示唆 - timing および failure 分析を実施し、deploy 上の trade-off と実用的限界を整理 - 映像デモが公開されている

5. 議論はある?

- timing・failure 分析から deploy 時の主要な trade-off と実用的制約を議論 - 産業自動化システムに language-guided perception を統合する際の知見を提示 - 具体的な失敗モードや限界の詳細、定量的な議論の内容は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として foundation-model ベースの visual perception、language grounding、6D pose estimation、motion planning の各分野の定番研究を次に読む候補として挙げる - 評価基盤である ADAPT autonomous outdoor forklift platform に関する文献も参照候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huy Hoang Nguyen, Johannes Huemer, Markus Murschitz, Tobias Glueck, Minh Nhat Vu, Andreas Kugi

分類: cs.RO, cs.CV

原文アブストラクト

Automating pallet handling in outdoor logistics and construction environments remains challenging due to unstructured scenes, variable pallet configurations, and changing environmental conditions. In this paper, we present Lang2Lift, an end-to-end language-guided autonomous forklift system designed to support practical pallet pick-up operations in real-world outdoor settings. The system enables operators to specify target pallets using natural language instructions, allowing flexible selection among multiple pallets with different loads and spatial arrangements. Lang2Lift integrates foundation-model-based perception modules with motion planning and control in a closed-loop autonomy pipeline. Language-grounded visual perception is used to identify and segment target pallets, followed by 6D pose estimation and geometric refinement to generate manipulation-feasible insertion poses. The resulting pose estimates are directly coupled with the forklift planning and control modules to execute fully autonomous pallet pick-up maneuvers. We deploy and evaluate the proposed system on the ADAPT autonomous outdoor forklift platform across diverse real-world scenarios, including cluttered scenes, variable lighting, and different payload configurations. Tolerance-based pose evaluation further indicates accuracy sufficient for successful fork insertion. Timing and failure analyses highlight key deployment trade-offs and practical limitations, providing insights into integrating language-guided perception within industrial automation systems. Video demonstrations are available at https://eric-nguyen1402.github.io/lang2lift.github.io/

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI