日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2511.20330

ArtiBenchとArtiBrain:汎化可能な視覚言語による関節物体操作のベンチマーク

ArtiBench and ArtiBrain: Benchmarking Generalizable Vision-Language Articulated Object Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

関節物体操作の汎化性能を評価する5段階ベンチマークArtiBenchと、VLM推論と拡散制御を組み合わせたモジュール型フレームワークArtiBrainを提案し、既存手法を上回る性能を示した。

詳しい要約

1. どんなもの?

- 本論文は、関節物体(articulated object)の操作における汎化性能を評価・改善する研究 - 5段階のベンチマーク ArtiBench を新たに提案 - kitchen, storage, office, tool の4環境を対象 - cross-part / cross-instance の変動から long-horizon な multi-object タスクまで段階的に評価 - ベンチマーク上で動作するモジュラーフレームワーク ArtiBrain を提案 - 高レベル推論と適応的低レベル制御を統合 - 長期的・多段階の対話的操作を物理整合性を保ちながら扱うことを狙う

2. 先行研究と比べてどこがすごい?

- 既存の vision-language 系や diffusion ベースの policy は、part・instance・category をまたぐ汎化が困難と指摘 - 先行研究との具体的な比較数値は要旨からは不明 - 貢献は主に2点 - 汎化の難しさを段階的に切り分けて測る ArtiBench の導入 - 高レベル推論と低レベル制御を分離したモジュラー設計の ArtiBrain - 実験では state-of-the-art の multimodal / diffusion 手法を robustness と generalization で大きく上回ると報告

3. 技術・手法の肝は?

- VLM-based Task Reasoner (GPT-4.1) が subgoal の分解と検証を担当 - Hybrid Controller が2系統を組み合わせる - geometry-aware な keyframe 実行 - affordance-guided diffusion による精密操作 - Affordance Memory Bank が成功した実行エピソードを蓄積 - part-level の actionable affordance を未見の articulated part や configuration へ伝播 - 高レベル推論と低レベル制御を分離したモジュラー構成が肝

4. どうやって有効だと検証した?

- ArtiBench 上で extensive な実験を実施 - ArtiBrain が state-of-the-art の multimodal 手法および diffusion ベース手法を robustness と generalization で有意に上回ると報告 - 具体的なタスク設定・指標・被比較手法名・数値は要旨からは不明 - 5段階の評価軸(cross-part, cross-instance, long-horizon multi-object 等)で段階的に検証

5. 議論はある?

- 既存 vision-language / diffusion policy の汎化限界を ArtiBench で可視化する点を議論 - 物理整合性を保つ長期的多段階操作の難しさを課題として提示 - モジュール分割(VLM reasoner + hybrid controller + memory bank)の有効性と解釈性に言及 - 限界・失敗事例・計算コスト・GPT-4.1 依存性などの詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている手法: vision-language policies, diffusion-based policies, affordance-guided diffusion, VLM-based Task Reasoner (GPT-4.1) - 関連して読むべき定番: RT-2 などの vision-language-action モデル、Diffusion Policy、CLIPort などの affordance ベース操作、Open X-Embodiment などの汎化ベンチマーク - 関節物体操作の関連: articulated object manipulation の affordance 学習研究 - 具体的な引用論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhan Wu, Tiantian Wei, Shuo Wang, ZhiChao Wang, Yanyong Zhang, Daniel Cremers, Yan Xia

分類: cs.RO, cs.CV

原文アブストラクト

Interactive articulated manipulation requires long-horizon, multi-step interactions with appliances while maintaining physical consistency. Existing vision-language and diffusion-based policies struggle to generalize across parts, instances, and categories. We first introduce ArtiBench, a five-level benchmark covering kitchen, storage, office, and tool environments. ArtiBench enables structured evaluation from cross-part and cross-instance variation to long-horizon multi-object tasks, revealing the core generalization challenges of articulated object manipulation. Building on this benchmark, we propose ArtiBrain, a modular framework that unifies high-level reasoning with adaptive low-level control. ArtiBrain uses a VLM-based Task Reasoner (GPT-4.1) to decompose and validate subgoals, and employs a Hybrid Controller that combines geometry-aware keyframe execution with affordance-guided diffusion for precise and interpretable manipulation. An Affordance Memory Bank continually accumulates successful execution episodes and propagates part-level actionable affordances to unseen articulated parts and configurations. Extensive experiments on ArtiBench show that our ArtiBrain significantly outperforms state-of-the-art multimodal and diffusion-based methods in robustness and generalization. Code and dataset will be released upon acceptance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI