日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動操作arXiv:2605.00471

視覚スケール変動と外乱下でのリアルタイム移動操作のためのステレオ多段空間注意

Stereo Multistage Spatial Attention for Real-Time Mobile Manipulation Under Visual Scale Variation and Disturbances

シェア:XThreadsFacebookLINEはてブBluesky

ステレオ画像からタスク関連の空間注意点を抽出し、階層的リカレントアーキテクチャでロボット状態と統合して閉ループ動作予測を行う、移動操作のための深層予測学習手法を提案。実機タスクでロバスト性と成功率を向上させた。

詳しい要約

1. どんなもの?

- 移動マニピュレータによる実環境モバイルマニピュレーションのための手法 - stereo multistage spatial attention と deep predictive learning を組み合わせた - オンボード視覚のみで、視覚的スケール変動や外乱に頑健なリアルタイム動作生成を目指す - 剛体配置、関節物体操作、変形物体操作を含む4つの実タスクで評価

2. 先行研究と比べてどこがすごい?

- 代表的な imitation learning および vision-language-action ベースラインと同一制御設定で比較 - ランダム初期位置や視覚外乱条件下でロバスト性とタスク成功率が向上 - 視覚スケール変動に対処する構造化された stereo spatial attention と予測的時間モデリングの有効性を示唆 - ただし具体的な改善幅や統計的有意性は要旨からは不明

3. 技術・手法の肝は?

- stereo images からタスクに関連する spatial attention points を抽出 - 抽出した attention を robot states と統合 - hierarchical recurrent architecture により closed-loop action prediction を実現 - deep predictive learning に基づくリアルタイムモバイルマニピュレーション手法

4. どうやって有効だと検証した?

- 移動マニピュレータを用いた4つの実世界モバイルマニピュレーションタスクで評価 - タスクには rigid placement、articulated object manipulation、deformable object interaction が含まれる - ランダム化された初期位置および視覚外乱条件下で実験 - 代表的な imitation learning および vision-language-action ベースラインと同一制御設定で比較し、成功率とロバスト性の向上を確認

5. 議論はある?

- 評価されたモバイルマニピュレーションシナリオ内で有効な解決策であると結論 - 構造化された stereo spatial attention と予測的時間モデリングの組み合わせが有効 - 限界や一般化可能性、他のタスクへの適用性については要旨からは不明 - 視覚スケール変動や外乱への対処メカニズムの詳細な分析は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:imitation learning ベースライン、vision-language-action ベースライン - 関連手法:deep predictive learning、stereo spatial attention、hierarchical recurrent architecture - 同分野の定番:mobile manipulation、visual servoing、imitation learning for manipulation

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xianbo Cai, Hideyuki Ichiwara, Hyogo Hiruma, Masaki Yoshikawa, Hiroshi Ito, Tetsuya Ogata

分類: cs.RO

原文アブストラクト

Robots operating in open, unstructured real-world environments must rely on onboard visual perception while autonomously moving across different locations. Continuous changes in onboard camera viewpoints cause significant visual scale variations in target objects, affecting vision-based motion generation. In this work, we present a stereo multistage spatial attention-based deep predictive learning method for real-time mobile manipulation. The proposed methods extracts task-relevant spatial attention points from stereo images and integrates them with robot states through a hierarchical recurrent architecture for closed-loop action prediction. We evaluate the system on four real-world mobile manipulation tasks using a mobile manipulator, including rigid placement, articulated object manipulation, and deformable object interaction. Experiments under randomized initial positions and visual disturbance conditions demonstrate improved robustness and task success rates compared to representative imitation learning and vision-language-action baselines under identical control settings. The results indicate that structured stereo spatial attention combined with predictive temporal modeling provides an effective solution within the evaluated mobile manipulation scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI