日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.38989

フローの手がかり:オープンワールド配送マニピュレーションのためのフローマッチングポリシーの操舵

Cue the Flow: Steering Flow-Matching Policies for Open-World Delivery Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みフローマッチングVLAモデルを低レベル制御に用い、空間的手がかりでポリシーを操舵する軽量アダプタを提案。未知物体への指示追従と操作成功率を最大2倍改善。

詳しい要約

1. どんなもの?

- 本論文は、open-world goods delivery における mobile manipulator の操作を対象とした研究。 - 自由形式のユーザ指示に従い、未知の物体を操作する必要がある。 - 既存の dual-system 手法では high-level grounding model が言語を視覚プロンプトに変換するが、low-level controller は知覚ノイズや動的環境、接触の多い操作で脆弱になりがち。 - 代わりに、事前学習済み flow-matching vision-language-action model (VLA) を low-level control interface として用い、grounding 出力を policy steering のための spatial cue として扱う。 - 軽量な cue-conditioned adapter を導入し、action chunk に対する diagonal affine transformation を予測して policy を誘導する。

2. 先行研究と比べてどこがすごい?

- 既存の dual-system アプローチは high-level grounding model と low-level controller を分離し、後者がノイズや動的環境、接触リッチな操作に弱い。 - 本研究は、事前学習済み flow-matching VLA を low-level 制御に直接用いることで、環境変化への反応性と堅牢性を活用。 - grounding 出力を spatial cue として policy steering に利用する点が新しい。 - これにより、新規の言語-物体マッピング下でも操作を誘導できる。 - 結果として、in-domain および out-of-domain 物体で指示追従と操作成功率が向上し、平均タスク成功率が最大約2倍に改善。推論オーバーヘッドは無視できる程度。

3. 技術・手法の肝は?

- 事前学習済み flow-matching VLA を low-level control interface として使用。 - grounding 出力を spatial cue として扱い、policy steering に利用。 - 軽量な cue-conditioned adapter を導入。 - adapter はまず contrastive objective で訓練され、顕著で空間的に識別可能な cue representation を生成。 - 次に、生成された action chunk に対する diagonal affine transformation を予測するよう教師あり学習。 - これにより policy steering を cued target に整合させる。

4. どうやって有効だと検証した?

- tabletop および mobile-base 設定で評価。 - in-domain および out-of-domain 物体に対する指示追従と操作成功率を検証。 - 平均タスク成功率が最大約2倍に改善。 - 推論オーバーヘッドは無視できる程度であることを確認。 - 具体的なデータセット名やベースラインは要旨からは不明。

5. 議論はある?

- 要旨からは、限界や議論の詳細は不明。 - 提案手法は推論オーバーヘッドが無視できると主張。 - 未知物体やノイズの多い知覚、動的シーン、接触リッチな操作に対する堅牢性が示唆されている。 - しかし、失敗ケースや一般化の限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: dual-system approaches, high-level grounding models, flow-matching vision-language-action model (VLA)。 - 関連手法: contrastive learning, action chunking, policy steering。 - 同分野の定番: vision-language-action models, mobile manipulation, open-world object manipulation。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoxuan Wang, Griffin Galimi, Junhua Huang, Selina Song, Wayne Wu, Yan Yan, Bolei Zhou

分類: cs.RO

原文アブストラクト

Open-world goods delivery requires mobile manipulators to follow free-form user instructions and manipulate potentially novel objects. Existing dual-system approaches use high-level grounding models to convert language into grounded visual prompts, but their low-level controllers can remain brittle under noisy perception, dynamic scenes, and contact-rich interactions. We instead use a pretrained flow-matching vision-language-action model as the low-level control interface, leveraging its reactivity and robustness to environmental changes while treating the grounding output as a spatial cue for policy steering. Our key insight is that the pretrained VLA already provides a strong manipulation prior, while the spatial cue supplies the missing target information needed to guide actions under novel language--object mappings. Concretely, we introduce a lightweight cue-conditioned adapter. The adapter is first trained with contrastive objectives to produce salient and spatially discriminative cue representations, and is then supervised to predict a diagonal affine transformation over the generated action chunk, aligning policy steering with the cued target. Across tabletop and mobile-base settings, our method improves instruction following and manipulation success on both in-domain and out-of-domain objects, achieving up to near $2\times$ improvement in average task success rate with negligible inference overhead.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI