日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データ収集arXiv:2611.03779

ロボット対応ソフトフィンガーで収集するUMIデータ:ピック&プレース100時間の教訓

Robot-Matched Soft Fingers for UMI Data Collection: Lessons from 100 Hours of Pick and Place

シェア:XThreadsFacebookLINEはてブBluesky

ロボットのグリッパーに合わせた柔らかい指を持つバッテリー駆動のハンドヘルド収集デバイスを開発し、53物体・約100時間のピック&プレースデータを収集して、トップカメラの有効性やマルチタスク事前学習による未知物体への汎化向上を示した。

詳しい要約

1. どんなもの?

- 手持ち型のデータ収集インターフェース(UMI)に関する研究 - YUBI をベースにしたバッテリー駆動のハンドヘルドデバイスを提案 - 柔らかく角度のついた指(soft, angled fingers)が対象物を包み込み、荷重で目視可能に変形することで力の視覚的代理信号となる - 指の形状はロボットのグリッパーと一致(robot-matched) - 53 物体・99.7 時間の pick and place データセットを収集し、$π_{0.5}$ ポリシーを学習 - 指設計・データセット・データ処理コードを公開

2. 先行研究と比べてどこがすごい?

- 既存 UMI の課題を指摘して改善 - 外部 base station への依存を解消(バッテリー駆動の手持ち型) - 剛体指は接触力の信号が得られない点を、荷重で変形する柔軟指で解決 - 平行ジョー指は把持力を制限する点を、対象物を包み込む柔らかく角度のついた指で改善 - ロボットのグリッパーと指を一致させることで、収集データと実機ポリシーのギャップを低減

3. 技術・手法の肝は?

- YUBI を基盤としたバッテリー駆動ハンドヘルド UMI - soft, angled fingers が物体を包み込み、荷重に応じて目視可能に変形(力の visual proxy) - 指形状をロボットのグリッパーに一致させる設計 - 99.7 時間・53 物体のデータを収集し、49 物体で $π_{0.5}$ ポリシーを学習、4 物体を unseen として保持 - トップカメラの有無や mid-training の効果を比較する実験設計

4. どうやって有効だと検証した?

- 53 物体・99.7 時間のデータセットを構築し、49 物体で $π_{0.5}$ ポリシーを学習、4 物体を unseen として評価 - トップカメラの効果を検証:データの約半分のみにトップカメラが含まれる場合でも成功率が 13 ポイント向上 - 多タスクデータでの mid-training の効果を検証:unseen 物体への fine-tuning 後の成功率が 35% から 57% に向上

5. 議論はある?

- トップカメラが約半数しか含まれないデータでも成功率を 13 ポイント改善する点を報告 - 多タスクデータでの mid-training が unseen 物体への汎化を改善することを示唆 - 柔軟指の変形を力の視覚的代理として用いる設計の有効性に言及 - 具体的な限界や失敗事例、議論の詳細は要旨からは不明

6. 次に読むべき論文は?

- YUBI(本研究の基盤となるハンドヘルド UMI) - $π_{0.5}$ ポリシー - 既存の UMI(Universal Manipulation Interface)関連研究 - 剛体指・平行ジョー指を用いる従来のハンドヘルドデータ収集手法 - 多タスクデータでの mid-training と fine-tuning に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kobi Kelemen, Tomasz Niedziałkowski, Marcin Paszczak, Victoriano Montesinos

分類: cs.RO

原文アブストラクト

Training robot policies for multi-task pick and place requires demonstrations on many objects, which handheld Universal Manipulation Interfaces (UMIs) can collect quickly and cheaply. However, existing UMIs depend on external base stations, use rigid fingers that give no signal about contact forces, or use parallel-jaw fingers that limit grip strength. We present a battery-powered handheld interface, built on YUBI, whose soft, angled fingers wrap around objects, deform visibly under load as a visual proxy for force, and match the grippers of the robot. With it, we collect a 99.7-hour dataset over 53 objects, train $π_{0.5}$ policies on 49 of them, and hold out the other 4 as unseen objects. We find that a top camera raises success by 13 points even when only about half of the data includes it, and that mid-training on our multi-task data raises success after fine-tuning on unseen objects from 35% to 57%. Finger design, dataset, and data processing code: https://lute-corp.github.io/soft-yubi-site/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI