日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2605.00475

MSACT: 安定した低遅延精密操作のための多段階空間位置合わせ

MSACT: Multistage Spatial Alignment for Stable Low-Latency Fine Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

双腕精密操作において、限られたデータでも視覚的なドリフトを抑えつつ低遅延で安定した動作を実現するため、多段階空間アテンションモジュールと時間的位置合わせ損失を導入したACTベースの手法を提案した。

詳しい要約

1. どんなもの?

- 実世界のfine manipulation、特にbimanual manipulation向けの低遅延・安定な視覚定位を目指す手法MSACTを提案。 - ACTをベースにpretrained ResNet visual priorを組み合わせ、multistage spatial attention moduleでタスク関連の2D attention pointsを抽出。 - 未来のattention sequenceを予測し、temporal alignment lossで自己教師ありに整合させる。 - ALOHA bimanual platformでsimulationとreal-worldのfine manipulationタスクを評価。

2. 先行研究と比べてどこがすごい?

- ACT: 低遅延実行とデータ効率を実現するが、dense visual featuresに依存し明示的なspatial consistencyがない。 - Diffusion Policy: 表現力は高いがiterative sampling latencyが生じる。 - VLAやvoxel-based手法: 汎化と幾何的groundingを強化するが計算コストとシステム複雑性が高い。 - MSACTは低遅延推論を維持しつつ、attention driftを抑え定位安定性とタスク性能を改善する点が異なる。

3. 技術・手法の肝は?

- ACTをベースにpretrained ResNet visual priorを利用。 - multistage spatial attention moduleがタスク関連の2D attention pointsを局所spatial modalityとして抽出し、action predictionに用いる。 - 未来フレームのvisual featuresと予測attention sequenceを整合させるself-supervised objectiveを導入。 - keypoint annotations不要でdriftを抑制し、限られたデータ下でのvision-to-action mappingの安定性を向上。

4. どうやって有効だと検証した?

- ALOHA bimanual platform上でsimulatedおよびreal-worldのfine manipulationタスクを実施。 - 評価指標はtask success、attention drift、inference latency、visual disturbancesへのrobustness。 - 結果は、テスト条件下で低遅延推論を維持しつつlocalization stabilityとtask performanceが改善することを示す。

5. 議論はある?

- 要旨からは、限られたdemonstrations下でのlocalization driftやvisual disturbancesへの対処が議論の中心。 - 計算コストやシステム複雑性のトレードオフ、汎化性能、他タスクへの適用可能性についての詳細は要旨からは不明。 - 実験条件外での性能や失敗事例、限界については要旨からは不明。

6. 次に読むべき論文は?

- ACT (Action Chunking with Transformers) - Diffusion Policy - Vision-Language-Action (VLA) models - voxel-based manipulation methods - ALOHA bimanual platform関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xianbo Cai, Hideyuki Ichiwara, Masaki Yoshikawa, Tetsuya Ogata

分類: cs.RO, cs.CV

原文アブストラクト

Real-world fine manipulation, particularly in bimanual manipulation, typically requires low-latency control and stable visual localization, while collecting large-scale data is costly and limited demonstrations may lead to localization drift. Existing approaches make different trade-offs: action-chunking policies such as ACT enable low-latency execution and data efficiency but rely on dense visual features without explicit spatial consistency, generative methods such as Diffusion Policy improve expressiveness but can incur iterative sampling latency, vision-language-action and voxel-based methods enhance generalization and geometric grounding but require higher computational cost and system complexity. We introduce a multistage spatial attention module that extracts stable 2D attention points and jointly predicts future attention sequences with a temporal alignment loss. Built upon ACT with a pretrained ResNet visual prior, a multistage attention module extracts task-relevant 2D attention points as a local spatial modality for action prediction. To maintain consistent object tracking, we introduce a self-supervised objective that aligns predicted attention sequences with visual features from future frames, suppressing drift without keypoint annotations and improving stability of the vision-to-action mapping under limited data. Experiments on simulated and real-world fine manipulation tasks, conducted on the ALOHA bimanual platform, evaluate task success, attention drift, inference latency, and robustness to visual disturbances. Results indicate improvements in localization stability and task performance while maintaining low-latency inference under the tested conditions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI