スマート家電APIと物理操作を統合した家庭用ロボットシミュレーション環境PAIR
PAIR: Bringing Household Robots into the Smart Home
Matter規格に基づくスマート家電の制御パネルとAPIを統合した家庭用ロボット向けシミュレーション環境PAIRを構築し、VLAポリシーの評価を行ったところ、ロボットはAPI利用以前の移動・把持・ドア操作の段階で大半が失敗することを示した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Junseong Pyo, Hyeongjin Kim, Jongwook Han, Seungwon Kook, Sungjib Lim, Yohan Jo
分類: cs.RO
原文アブストラクト
Household robots often need to operate appliances, and smart appliances offer both control panels and device APIs. Existing embodied AI simulation environments, however, model appliances solely as physical objects. We introduce PAIR, a smart-home simulation environment grounded in the Matter protocol~\footnote{https://csa-iot.org/all-solutions/matter/}, the industry standard for smart-home devices. PAIR provides 84 smart-device assets whose functional control panels and APIs act on a shared device state, with ambient conditions that evolve in response to both. From a survey of 1,443 requests, we construct a benchmark of 40 tasks that all require object manipulation yet remain solvable without API access, with 340 human demonstrations for policy training. Whether run alone, with a high-level planner, or with an API-enabled planner, two fine-tuned VLA policies complete none of the 120 evaluation episodes. Robots rarely get far enough to use the API: even with oracle plans and API access, over 90\% of failed rollouts stall at navigating, grasping, or operating a door. With a perfect oracle in place of the robot's body, the best planner still gets through only 57.3\% of its plan. When choosing between pressing a button and calling an API, several planners go by whether they can read the panel, not by API latency.\footnote{We will release our code and data upon publication.}
関連論文
- 自由飛行体で軌道相対運動を物理再現する二重アクチュエーション手法sim2real
- モジュール式全輪駆動ロボットADS試験プラットフォームの概念的全車両モデリング:デジタルツイン基盤の構築sim2real
- アッカーマン車両ナビゲーションにおけるプランナ・コントローラ相互作用:シミュレーションと実機の対応ベンチマークsim2real
- Ego2X: 一人称視点の人間データを接触認識で任意のロボットへ転送するフレームワークsim2real
- エージェント型対ドローンシステムのセキュリティストレステスト用合成マルチモーダルテストベッドsim2real
- 人間からロボットへの転移効果はどこから生まれるのかsim2real
