日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2611.13690

キャブ視覚と制御情報の融合による油圧ショベルの関節状態推定

Joint-State Inference for Autonomous Excavators Using Cab-View Vision-Control Fusion

シェア:XThreadsFacebookLINEはてブBluesky

既存ショベルにセンサを追加せず、キャブ内カメラ映像とジョイスティック操作履歴から関節状態を推定し、ACTベースの制御方針と組み合わせて自律掘削を実現した。

詳しい要約

1. どんなもの？

- 既存の油圧ショベルを対象に、追加の関節センサ・外部カメラ・マーカーなしで関節状態を推定する閉ループ自律掘削フレームワーク - 車載の cab-view 画像と joystick 指令の時系列情報を融合して関節状態を連続推定 - 推定状態と画像を ACT (Action Chunking with Transformers) ベースの制御ポリシーに渡しオンラインで行動生成 - AGX Dynamics for Unity シミュレーション上で評価

2. 先行研究と比べてどこがすごい？

- 専用関節センサ・外部カメラ・visual marker の後付けが導入・保守負担を増やす点を課題として位置づけ - それら追加センシングへの依存を減らす sensor-light な推定アプローチを提案 - cab-view 画像と制御時系列の融合、および rolling state buffer と関節可動域制約を組み合わせる点が特徴 - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は？

- 現在の cab-view 画像から構造的手がかりを encode - 過去の joystick 指令から短期的な運動傾向をモデル化 - bucket 関節には rolling state buffer を導入し、 severe occlusion 下でも時間的連続性を保持 - 機械的な joint-range constraints を学習目的に組み込み、実行不可能な推定を抑制 - 推定状態と画像を ACT ベースの制御ポリシーへ入力し action をオンライン生成

4. どうやって有効だと検証した？

- AGX Dynamics for Unity のシミュレーション環境で多様な運転条件を設定し、関節状態推定と end-to-end タスク実行を評価 - 20 回の自律掘削 trial で 95% の task-completion rate - 1 step あたりの関節状態推定＋制御 latency は平均 10.11 ms - bucket 関節推定の MAE は 0.965 degrees

5. 議論はある？

- 追加センシング基盤への依存を減らしつつ、計算効率の高い閉ループ自律掘削を支持できると主張 - 評価はシミュレーション環境に限定されており、実機での有効性は要旨からは不明 - 他の関節や異なる環境・土質条件への一般化、occlusion 以外の外乱影響は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照されている ACT (Action Chunking with Transformers) の原論文 - 比較対象として明示された先行研究は要旨からは不明のため、同分野の定番として cab-view を用いた excavator の vision-based state estimation や autonomous excavation に関する研究を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junwei Li, Jian Pan, Mengchi Cai, Shuai Zhao, Xizhuo Jiang, Zheng Wang, Qing Xu, Keqiang Li, Jianqiang Wang

分類: cs.RO

原文アブストラクト

Reliable state feedback of excavator front-end mechanisms is essential for autonomous excavation, yet retrofitting existing machines with dedicated joint sensors, external cameras, or visual markers can increase deployment and maintenance burdens. This paper proposes a closed-loop autonomous excavation framework for continuous inference of excavator joint states using onboard visual observations and control-related temporal information. The framework encodes structural cues from the current cab-view image, models short-term motion trends from historical joystick commands, and introduces a rolling state buffer for the bucket joint to preserve temporal continuity under severe occlusion. Mechanical joint-range constraints are incorporated into the learning objective to suppress infeasible estimates. The current cab-view image and inferred states are supplied to an Action Chunking with Transformers (ACT)-based control policy for online action generation. Experiments in an AGX Dynamics for Unity simulation environment under diverse operating conditions evaluate joint-state inference and end-to-end task execution. Across 20 autonomous excavation trials, the framework achieved a 95% task-completion rate, with an average joint-state-inference-and-control latency of 10.11 ms per step. The bucket-joint inference achieved a mean absolute error (MAE) of 0.965 degrees. These results demonstrate a sensor-light and computationally efficient joint-state-inference approach that can support closed-loop autonomous excavation with reduced dependence on additional sensing infrastructure.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →