日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2507.18262

ReSemAct: 意味構造化とアフォーダンス精緻化による細粒度ロボットマニピュレーションの高度化

ReSemAct: Advancing Fine-Grained Robotic Manipulation via Semantic Structuring and Affordance Refinement

シェア:XThreadsFacebookLINEはてブBluesky

MLLMと視覚基盤モデルを連携させ、自然言語とRGB画像から意味的アフォーダンス記述を構造化し、幾何と位置を別々に精緻化して細粒度の操作目標を生成する統合マニピュレーションフレームワークを提案。

詳しい要約

1. どんなもの?

- 細粒度ロボットマニピュレーションのための統合フレームワーク ReSemAct を提案 - 自然言語と RGB 観測から affordance ターゲットを接地する枠組み - Semantic Structuring と Affordance Refinement からなる SSAR を中核に据える - MLLMs と VFMs の自動協調推論で駆動 - シミュレーションと実世界の両方で評価

2. 先行研究と比べてどこがすごい?

- 既存の foundation model ベース手法は豊かな意味を過度に単純化した affordance に圧縮しがち - そのため暗黙的な意味情報を活用できないという課題があった - ReSemAct は意味構造化により暗黙の機能的意図も保持 - 粗い affordance アンカーから精緻化する二段構えで細粒度化を実現 - zero-shot 条件下で多様なタスクを遂行できる点を示す

3. 技術・手法の肝は?

- Semantic Structuring モジュール - 自然言語と RGB 観測から統合的な意味的 affordance 記述を導出 - affordance 領域・暗黙の機能的意図・粗い affordance アンカーを構造化表現に整理 - Affordance Refinement 戦略 - 構造化仕様を基に geometry と position を別々に特化する二つの相補フローを実体化 - 細粒度の affordance ターゲットを生成 - 精緻化ターゲットを real-time の joint-space 最適化目的関数として符号化 - 動的環境での反応的かつ堅牢な操作を可能にする

4. どうやって有効だと検証した?

- 意味的に豊かな household 環境と sparse な chemical lab 環境で実験 - simulation と real-world の双方で extensive な実験を実施 - zero-shot 条件下で多様なタスクを遂行できることを示す - foundation models と組み合わせた SSAR の堅牢性を実証 - コードと動画を公開

5. 議論はある?

- 要旨からは不明 - 明示的な限界や失敗事例の議論は記載なし - 計算コストや MLLMs/VFMs 依存性への言及も要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として foundation model ベースの affordance grounding 研究群 - MLLMs を用いたロボット操作計画 - VFMs による affordance 検出 - 細粒度マニピュレーションの zero-shot 汎化に関する研究を次に読む候補とする

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenyu Su, Weiwei Shang, Chen Qian, Fei Zhang, Shuang Cong

分類: cs.RO, cs.AI, cs.CV, cs.HC, cs.LG

原文アブストラクト

Fine-grained robotic manipulation requires grounding natural language into appropriate affordance targets. However, most existing methods driven by foundation models often compress rich semantics into oversimplified affordances, preventing exploitation of implicit semantic information. To address these challenges, we present ReSemAct, a novel unified manipulation framework that introduces Semantic Structuring and Affordance Refinement (SSAR), powered by the automated synergistic reasoning between Multimodal Large Language Models (MLLMs) and Vision Foundation Models (VFMs). Specifically, the Semantic Structuring module derives a unified semantic affordance description from natural language and RGB observations, organizing affordance regions, implicit functional intent, and coarse affordance anchors into a structured representation for downstream refinement. Building upon this specification, the Affordance Refinement strategy instantiates two complementary flows that separately specialize geometry and position, yielding fine-grained affordance targets. These refined targets are then encoded as real-time joint-space optimization objectives, enabling reactive and robust manipulation in dynamic environments. Extensive simulation and real-world experiments are conducted in semantically rich household and sparse chemical lab environments. The results demonstrate that ReSemAct performs diverse tasks under zero-shot conditions, showcasing the robustness of SSAR with foundation models in fine-grained manipulation. Code and videos at https://github.com/scy-v/ReSemAct and https://resemact.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI