日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モバイルマニピュレーションarXiv:2508.15663

心と動きの統合:モバイルマニピュレーションにおけるタスク計画と低レベルポリシーのためのIsaacSimベンチマーク

Mind and Motion Aligned: A Joint Evaluation IsaacSim Benchmark for Task Planning and Low-Level Policies in Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

Isaac Sim上に構築したキッチン環境で、言語指示に基づくタスク計画と低レベル制御を統合評価するベンチマークKitchen-Rを提案し、VLMベースの計画と拡散ポリシーによる制御のベースラインを提供した。

詳しい要約

1. どんなもの?

- Kitchen-R という新規 benchmark の提案 - 言語指示によるタスク計画と低レベル制御を統合評価する - Isaac Sim 上に構築した simulated kitchen environment(digital twin) - mobile manipulator robot を対象 - 500 以上の complex language instructions を収録 - 3 つの評価モードを提供 - planning module の独立評価 - control policy の独立評価 - システム全体の統合評価

2. 先行研究と比べてどこがすごい?

- 既存 benchmark の分断を指摘 - 高レベル言語指示 benchmark は低レベル実行が完璧と仮定 - 低レベル制御 benchmark は単純な one-step commands に依存 - Kitchen-R の利点 - 計画と物理実行の両方を同一環境で評価可能 - 統合システムの包括的評価を実現 - 具体的な性能比較の数値は要旨からは不明

3. 技術・手法の肝は?

- Isaac Sim による digital twin の kitchen environment 構築 - mobile manipulator robot を対象とした設定 - baseline 手法を提供 - vision-language model に基づく task-planning strategy - diffusion policy に基づく low-level control policy - trajectory collection system を提供 - 3 つの評価モードを可能にする柔軟な framework - planning 単体、control 単体、統合評価

4. どうやって有効だと検証した?

- 要旨からは不明 - baseline の具体的な評価結果や成功率は記載なし - 比較実験の詳細は示されていない - 提供物として baseline と trajectory collection system を整備した点のみ記載

5. 議論はある?

- 要旨からは不明 - 限界や失敗事例の議論は記載なし - sim-to-real の課題への言及もなし - 主張として embodied AI 研究の gap を橋渡しし、より現実的な benchmarking を可能にすると述べる

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法として挙げられているもの - vision-language model ベースの task planning - diffusion policy - 同分野の定番として検討候補 - 言語指示 follow の embodied AI benchmark - mobile manipulation の control policy 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nikita Kachaev, Andrei Spiridonov, Andrey Gorodetsky, Kirill Muravyev, Nikita Oskolkov, Aditya Narendra, Vlad Shakhuro, Dmitry Makarov, Aleksandr I. Panov, Polina Fedotova, Alexey K. Kovalev

分類: cs.RO, cs.AI

原文アブストラクト

Benchmarks are crucial for evaluating progress in robotics and embodied AI. However, a significant gap exists between benchmarks designed for high-level language instruction following, which often assume perfect low-level execution, and those for low-level robot control, which rely on simple, one-step commands. This disconnect prevents a comprehensive evaluation of integrated systems where both task planning and physical execution are critical. To address this, we propose Kitchen-R, a novel benchmark that unifies the evaluation of task planning and low-level control within a simulated kitchen environment. Built as a digital twin using the Isaac Sim simulator and featuring more than 500 complex language instructions, Kitchen-R supports a mobile manipulator robot. We provide baseline methods for our benchmark, including a task-planning strategy based on a vision-language model and a low-level control policy based on diffusion policy. We also provide a trajectory collection system. Our benchmark offers a flexible framework for three evaluation modes: independent assessment of the planning module, independent assessment of the control policy, and, crucially, an integrated evaluation of the whole system. Kitchen-R bridges a key gap in embodied AI research, enabling more holistic and realistic benchmarking of language-guided robotic agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI