日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2508.08748

アノテーション誘導型ビジュアルプロンプトによるロボットマニピュレーション:ACTを用いたピックアンドプレース

Visual Prompting for Robotic Manipulation with Annotation-Guided Pick-and-Place Using ACT

シェア:XThreadsFacebookLINEはてブBluesky

バウンディングボックス注釈による視覚プロンプトとTransformerベースの模倣学習(ACT)を組み合わせ、コンビニのような密集・遮蔽環境でのピックアンドプレースを実現する知覚・行動パイプラインを提案した。

詳しい要約

1. どんなもの?

- コンビニ等の棚に密集配置された物体を対象としたロボットの pick-and-place タスク向けの知覚-行動パイプライン - 物体の色・形状・サイズ・テクスチャの多様性、遮蔽、密配置に対処することを狙う - annotation-guided visual prompting により、pickable objects と placement locations を bounding box annotation で指定し、構造化された空間的ガイダンスを与える - 行動生成には Action Chunking with Transformers (ACT) を imitation learning として採用し、chunked action sequences を予測する

2. 先行研究と比べてどこがすごい?

- 従来の step-by-step planning ではなく、ACT による chunked action sequence 予測で滑らかかつ適応的、データ駆動型の操作を実現する点が特徴 - bounding box annotation による visual prompting で pick 対象と配置先の両方を明示的に与える点が、密配置・遮蔽への対処として新しい - 具体的な先行研究との定量的比較は要旨からは不明

3. 技術・手法の肝は?

- annotation-guided visual prompting: bounding box annotations で pickable objects と placement locations を同定し、空間的ガイダンスを提供 - Action Chunking with Transformers (ACT): 人間の demonstrations から chunked action sequences を予測する imitation learning - 知覚から行動までの pipeline として統合し、trajectory planning と grasping をデータ駆動で行う - 詳細なネットワーク構成や annotation の生成方法は要旨からは不明

4. どうやって有効だと検証した?

- 評価指標として success rate と grasping behavior の visual analysis を実施 - retail environments における grasp accuracy と adaptability の改善を示したと報告 - 具体的なデータセット、被験物体数、比較ベースライン、成功率の数値は要旨からは不明

5. 議論はある?

- 密配置・遮蔽・物体属性の多様性といった convenience store 特有の難しさへの対処を議論 - visual prompting が trajectory planning と grasping の複雑さを軽減する可能性を示唆 - 限界、失敗事例、annotation 依存性、汎化性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- Action Chunking with Transformers (ACT) の原論文 - visual prompting を用いたロボット操作の関連研究 - imitation learning による pick-and-place の代表的手法(例: Behavior Cloning、Diffusion Policy 等の定番手法)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Muhammad A. Muttaqien, Tomohiro Motoda, Ryo Hanai, Yukiyasu Domae

分類: cs.RO, cs.AI

原文アブストラクト

Robotic pick-and-place tasks in convenience stores pose challenges due to dense object arrangements, occlusions, and variations in object properties such as color, shape, size, and texture. These factors complicate trajectory planning and grasping. This paper introduces a perception-action pipeline leveraging annotation-guided visual prompting, where bounding box annotations identify both pickable objects and placement locations, providing structured spatial guidance. Instead of traditional step-by-step planning, we employ Action Chunking with Transformers (ACT) as an imitation learning algorithm, enabling the robotic arm to predict chunked action sequences from human demonstrations. This facilitates smooth, adaptive, and data-driven pick-and-place operations. We evaluate our system based on success rate and visual analysis of grasping behavior, demonstrating improved grasp accuracy and adaptability in retail environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI