日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2603.05504

RoboPocket: スマホでロボットポリシーを即座に改善

RoboPocket: Improve Robot Policies Instantly with Your Phone

シェア:XThreadsFacebookLINEはてブBluesky

スマートフォンとARを用いて、物理ロボットを使わずに模倣学習のデータ収集を効率化し、ポリシーを即時改善するシステムを提案した論文。

詳しい要約

1. どんなもの?

- スマートフォン1台でロボット政策を即時改善する携帯型システムRoboPocketを提案。 - 物理ロボット不要のRobot-Free Instant Policy Iterationを実現。 - 中核はRemote InferenceとAR Visual Foresightによる予測軌跡の可視化。 - 非同期Online Finetuningで学習ループを数分で閉じる。

2. 先行研究と比べてどこがすごい?

- 従来のhandheld interfaceはopen-loopで、政策の弱点を盲目的に収集し非効率。 - DAgger等のinteractive手法はcovariate shiftに対処するが物理ロボット実行が高コストでスケール困難。 - RoboPocketは物理ロボットなしで能動的に弱点を狙い、offline scaling比でデータ効率2倍。 - 分散環境で少数のinteractive correctionによりsample efficiencyを最大2倍向上。

3. 技術・手法の肝は?

- Remote Inference frameworkで政策の予測軌跡をAR Visual Foresightとして可視化。 - 収集者が没入型フィードバックで潜在失敗を事前特定し、弱点領域にデータ収集を集中。 - 非同期Online Finetuning pipelineで流入データにより政策を継続更新。 - 学習ループを数分で閉じ、物理ロボット不要のinstant iterationを実現。

4. どうやって有効だと検証した?

- 広範な実験でRoboPocketがdata scaling lawsに従うことを確認。 - offline scaling戦略と比較しデータ効率が2倍になることを実証。 - 分散環境で1人あたり少数のinteractive correctionによりsample efficiencyが最大2倍向上。 - 詳細な実験設定は要旨からは不明。

5. 議論はある?

- 物理ロボット実行のコストとスケール問題を回避しつつcovariate shiftに対処する点が議論の焦点。 - data scaling lawsへの準拠とoffline scalingの効率ボトルネック克服を主張。 - 限界や失敗事例、一般化性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- DAgger(interactive imitation learningの代表手法)。 - handheld interface(in-the-wildデータ収集の先行研究)。 - offline scaling戦略(比較対象として言及)。 - imitation learningおよびdata scaling lawsに関する定番研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junjie Fang, Wendi Chen, Han Xue, Fangyuan Zhou, Tian Le, Yi Wang, Yuting Zhang, Jun Lv, Chuan Wen, Cewu Lu

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Scaling imitation learning is fundamentally constrained by the efficiency of data collection. While handheld interfaces have emerged as a scalable solution for in-the-wild data acquisition, they predominantly operate in an open-loop manner: operators blindly collect demonstrations without knowing the underlying policy's weaknesses, leading to inefficient coverage of critical state distributions. Conversely, interactive methods like DAgger effectively address covariate shift but rely on physical robot execution, which is costly and difficult to scale. To reconcile this trade-off, we introduce RoboPocket, a portable system that enables Robot-Free Instant Policy Iteration using single consumer smartphones. Its core innovation is a Remote Inference framework that visualizes the policy's predicted trajectory via Augmented Reality (AR) Visual Foresight. This immersive feedback allows collectors to proactively identify potential failures and focus data collection on the policy's weak regions without requiring a physical robot. Furthermore, we implement an asynchronous Online Finetuning pipeline that continuously updates the policy with incoming data, effectively closing the learning loop in minutes. Extensive experiments demonstrate that RoboPocket adheres to data scaling laws and doubles the data efficiency compared to offline scaling strategies, overcoming their long-standing efficiency bottleneck. Moreover, our instant iteration loop also boosts sample efficiency by up to 2$\times$ in distributed environments a small number of interactive corrections per person. Project page and videos: https://robo-pocket.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI