日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モバイル操作/VLAarXiv:2606.12956

SERF: 長時間ホライズンのモバイル操作のための時空間環境・ロボット特徴マップ

SERF: Spatiotemporal Environment and Robot Feature Map for Long-Horizon Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの長時間操作タスクにおいて、環境とロボット自身を共有潜在空間のニューラル点群として表現する時空間特徴マップを導入し、これをVLAモデルの状態入力として用いることで、長期的な推論とタスク成功率を向上させる。

詳しい要約

1. どんなもの?

- 長期的な移動マニピュレーションのためのSERF(Spatiotemporal Environment and Robot Feature)マップを提案。 - 環境とロボットの関節構造を共有潜在空間のニューラルポイントとして表現し、自己中心視点と固有受容感覚からオンライン更新。 - このマップをVLAモデルの状態入力として使用し、長期タスクの推論を改善。

2. 先行研究と比べてどこがすごい?

- 画像のみのベースラインと比較して、SERF VLAポリシーは長期タスクで優れた性能を発揮。 - より直接的な軌道でサブゴールに早く到達し、シーン構成の変化に対するロバスト性が向上。 - 物体落下失敗からの回復も可能。

3. 技術・手法の肝は?

- 環境ニューラルポイントをオブジェクトレベルの剛体トラッキングで更新。 - ロボットニューラルポイントを順運動学で更新。 - 複数の参照フレームと空間スケールからマップトークンを抽出し、VLAモデルにローカルとグローバルのコンテキストを提供。

4. どうやって有効だと検証した?

- BEHAVIOR-1Kベンチマーク(家庭環境での長期移動マニピュレーション)で実験。 - 画像のみのベースラインと比較して性能向上を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- BEHAVIOR-1Kベンチマーク、VLAモデル、オブジェクトレベルの剛体トラッキング、順運動学に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sunghwan Kim, Byeonghyun Pak, Kehan Long, Yulun Tian, Nikolay Atanasov

分類: cs.RO

原文アブストラクト

Long-horizon robot mobile manipulation requires continual reasoning about localization, environment changes, and task progress, all of which are challenging to infer from image observations alone. In this paper, we show that conditioning a mobile manipulation policy on a spatiotemporal feature map improves reasoning over long horizons. The map represents the environment and the articulated robot body as neural points in a shared latent space and is updated online from egocentric observations and proprioceptive state. We update the environment neural points using object-level rigid tracking and the robot neural points using forward kinematics. We use our spatiotemporal environment and robot feature (SERF) map as a state input to a vision-language-action (VLA) model by extracting map tokens from multiple reference frames and spatial scales, providing the policy with both local and global context. We demonstrate SERF on BEHAVIOR-1K, a benchmark for long-horizon mobile manipulation in household environments. Experiments show that the SERF VLA policy outperforms image-only baselines, reaches subgoals faster by following more direct trajectories, improves robustness to scene-configuration shifts, and recovers from object-drop failures.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI