日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2608.04042

基盤モデルを活用したキッチンロボット操作

Kitchen Robotic Manipulation utilizing Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

家庭環境でのロボット操作のため、オープンボキャブラリ物体検出や多視点セグメンテーション、3D再構成、6D姿勢推定を組み合わせたモジュール式認識パイプラインを提案し、キッチンでの食器操作タスクで高い性能と実機での適応性を実証した。

詳しい要約

1. どんなもの?

本論文は、家庭環境、特にキッチンでの食器類の操作タスクを対象とした、モジュール式の知覚パイプラインを提案している。パイプラインは、open-vocabulary object detection、multi-view segmentation、instance-aware 3D reconstruction、2D-3D feature fusionによる6D pose estimationとgrasp planningを統合する。複数のvisualおよびgeometric foundation modelsを体系的に交換可能なモジュール設計により、カスタムキッチンデータセットでの評価を通じて最適な構成を特定する。

2. 先行研究と比べてどこがすごい?

従来のロボット知覚システムは特定の環境やオブジェクトに特化しており、多様な家庭環境への適応が困難だった。本手法は、foundation modelsをモジュールとして組み合わせることで、環境固有の再学習なしに物理ロボットへ展開可能な適応性とスケーラビリティを実現している点が優れている。また、複数のモデル構成を体系的に評価し、最適な組み合わせを特定するアプローチも新しい。

3. 技術・手法の肝は?

手法の核心は、モジュール式パイプラインの設計にある。各モジュール(物体検出、セグメンテーション、3D再構成、特徴融合)は独立して交換可能であり、それぞれに異なるfoundation modelsを適用できる。具体的には、open-vocabulary detectionにはLLMDet、segmentationにはSAMv2、特徴抽出にはDINOv2、3D registrationにはGeoTransformerを用いた構成が最良とされた。2D-3D feature fusionにより、6D pose estimationとgrasp planningを実現する。

4. どうやって有効だと検証した?

カスタムキッチンデータセット(20シーン、cluttered and occluded conditions)を用いて、複数のモデル構成を評価し、最良構成(LLMDet + SAMv2 + DINOv2 + GeoTransformer)でADI(Average Distance of point cloud?)89.12%を達成した。さらに、実ロボットを用いたデモ(sink-to-dishwasher transfer、cup stacking)を環境固有の再学習なしで成功させ、実世界での有効性を検証した。

5. 議論はある?

要旨からは、議論の詳細は不明。ただし、モジュール式パイプラインの利点として、各モジュールの交換による性能比較が可能である一方、モジュール間の依存関係や誤差の伝播が性能に影響する可能性が考えられる。また、実世界デモは限定的なタスクであり、より複雑なシナリオでの汎用性についてはさらなる検証が必要かもしれない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、open-vocabulary object detection(LLMDet)、SAMv2、DINOv2、GeoTransformerなどが挙げられる。また、foundation modelsをロボット操作に応用した他の研究(例:RT-2、PaLM-E)も関連する。具体的な論文タイトルは要旨にないため、これらのモデルの原著論文や、ロボット操作におけるfoundation modelsのサーベイを読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Myung-Hwan Jeon, Sankalp Yamsani, Joohyung Kim

分類: cs.RO

原文アブストラクト

Deploying robots in everyday human environments requires perception systems that are both robust and adaptable to diverse, dynamic conditions. In this work, we present a modular perception pipeline for household manipulation tasks, with a focus on dishware handling in kitchen environments. The pipeline integrates open-vocabulary object detection, multi-view segmentation, instance-aware 3D reconstruction, and a 2D-3D feature fusion strategy for 6D pose estimation and grasp planning. Its modular design enables systematic substitution of multiple visual and geometric foundation models, allowing us to identify the best-performing configuration through extensive evaluation on a custom kitchen dataset. The best-performing configuration (LLMDet + SAMv2 + DINOv2 + GeoTransformer) achieves an ADI of 89.12\% on the 20-scene kitchen benchmark with cluttered and occluded conditions. Furthermore, real-world demonstrations confirm that the best configuration can be deployed on physical robots without environment-specific retraining, successfully executing tasks such as sink-to-dishwasher transfer and cup stacking. It validates the adaptability and scalability of the pipeline and highlights its potential as a practical framework for household robotic systems. Our code and supplementary materials are available at https://raivlab.github.io/FM_kitchen .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI