日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モバイルマニピュレーションarXiv:2607.24207

FloAff-Kitchen:正準的かつ段階的な床面アフォーダンス学習によるナビゲーションと操作の橋渡し

FloAff-Kitchen: Bridging Navigation and Manipulation via Canonical and Progressive Floor Affordance Learning

シェア:XThreadsFacebookLINEはてブBluesky

移動マニピュレーションにおいて、操作の成功率を最大化する床面アフォーダンス(FloAff)を予測する統一フレームワークを提案。正準表現学習と段階的アフォーダンス事前学習により、異種操作スキル間の共有知識とタスク固有知識を分離し、新規ベンチマークで優位性を示した。

詳しい要約

1. どんなもの?

モバイルマニピュレーションにおいて、ロボットのベース配置(Floor Affordance, FloAff)を、ナビゲーションの実現可能性だけでなく下流のマニピュレーション成功率を最大化するように予測する統一フレームワークを提案。自己中心的多モーダル知覚からFloAffを予測し、Canonical Floor Affordance Representation (CFAR)とProgressive Floor Affordance Learning (PFAL)から構成される。また、多様な操作スキル、シーン配置、家具スタイル、視点を含む初のクロスシーン・マルチビューのFloAff-Kitchenベンチマークを構築。

2. 先行研究と比べてどこがすごい?

既存手法は、無関係な空間コンテキストや任意のオブジェクト向きによる表現の曖昧さに悩まされ、異種の操作スキル間で共有知識とタスク固有知識を絡めてしまう。提案手法は、正準表現学習により操作関連の局所構造を保ちつつベース配置に無関係な空間変動を除去し、段階的学習により基盤操作タスクから転移可能なFloAff事前知識を獲得し、異種の下流スキルに適応させる点が新しい。

3. 技術・手法の肝は?

手法の肝は2つ。1つ目はCanonical Floor Affordance Representation (CFAR)で、操作関連の局所構造を保持しながらロボットベース配置に無関係な空間変動(例:オブジェクトの向き)を除去する正準相互作用幾何を学習する。2つ目はProgressive Floor Affordance Learning (PFAL)で、基盤操作タスクから転移可能なFloAff事前知識を学習し、それを異種の下流操作スキルに段階的に適応させる。自己中心的多モーダル知覚を入力とする。

4. どうやって有効だと検証した?

3つのベンチマーク設定(クロスシーン、マルチビュー、多様なスキルを含むFloAff-Kitchenベンチマーク)で実験を行い、強力なベースラインを一貫して上回る性能を確認。また、アブレーション研究により各提案コンポーネントの寄与を検証した。

5. 議論はある?

要旨からは、提案手法の限界や議論点は明示されていない。ただし、ベンチマークが初の試みであることから、評価設定の一般性や実世界への適用可能性などが今後の議論の対象となり得るが、要旨の範囲では不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、モバイルマニピュレーションのナビゲーションと操作の統合、Affordance learning、自己中心視覚による空間推論、転移学習などの論文が挙げられる。具体的には、'Floor Affordance'や'Mobile Manipulation'、'Affordance Learning'、'Canonical Representation'、'Progressive Learning'に関する研究を参照するとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ping Zhong, Manling Teng, Tao Wu, Bolei Chen, Jiazhi Xia, Jianxin Wang

分類: cs.RO

原文アブストラクト

Mobile manipulation requires robots to identify Floor Affordance (FloAff) that maximizes downstream manipulation success rather than merely ensuring navigation feasibility. FloAff prediction is a target-conditioned local spatial reasoning problem, yet existing methods suffer from representation ambiguity caused by irrelevant spatial context and arbitrary object orientations, while entangling shared and task-specific knowledge across heterogeneous manipulation skills. To address these challenges, we propose a unified framework for FloAff prediction from egocentric multimodal perception, consisting of canonical representation learning and progressive affordance prior learning. Specifically, we introduce a Canonical Floor Affordance Representation (CFAR), which learns canonical interaction geometry by preserving affordance-relevant local structure while eliminating nuisance spatial variations unrelated to robot base placement. We further propose Progressive Floor Affordance Learning (PFAL), which learns transferable FloAff priors from a foundation manipulation task and progressively adapts them to heterogeneous downstream manipulation skills. To facilitate systematic evaluation, we establish the first cross-scene, multi-view FloAff-Kitchen benchmark covering diverse manipulation skills, scene layouts, furniture styles, and viewpoints. Extensive experiments on three benchmark settings demonstrate that our method consistently outperforms strong baselines, while ablation studies validate the contribution of each proposed component. Project page: https://csu-hero-lab.github.io/FloAff-Kitchen_Web/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI