日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/収穫ロボットarXiv:2603.05982

HarvestFlex: 実環境での視覚言語行動ポリシー適応によるイチゴ収穫

HarvestFlex: Strawberry Harvesting via Vision-Language-Action Policy Adaptation in the Wild

シェア:XThreadsFacebookLINEはてブBluesky

実温室のイチゴ収穫にVLAポリシーを適用し、VR遠隔操作データで微調整して高い成功率を達成した。

詳しい要約

1. どんなもの?

- 本研究は、vision-language-action (VLA) ポリシーを実際の温室のテーブルトップイチゴ収穫に転移する初の試みである。 - 対象タスクは長期的かつ非構造化で、occlusion や specular reflections に悩まされる。 - HarvestFlex プラットフォーム上で end-to-end closed-loop システムを構築した。 - 3視点 RGB センシング(2つの固定 scene view と wrist-mounted view)を用い、depth clouds や明示的な幾何キャリブレーションを意図的に避けた。 - VR teleoperated demonstrations を 3.71 時間(227 episodes)収集し、pi_0、pi_0.5、WALL-OSS を full fine-tuning と LoRA で微調整した。

2. 先行研究と比べてどこがすごい?

- 従来の VLA 研究は主にシミュレーションや構造化環境に限定されていたが、本研究は実温室のイチゴ収穫という非構造化・長期的タスクへの転移を初めて検討した。 - depth clouds や幾何キャリブレーションに依存せず、RGB のみで closed-loop 収穫を実現した点が新しい。 - 4時間未満の実データで非自明な closed-loop picking を達成した。 - 同期デプロイと比較して、asynchronous inference-control decoupling が性能を向上させることを示した。

3. 技術・手法の肝は?

- HarvestFlex プラットフォーム上で、3視点 RGB(2固定 scene views + wrist-mounted view)を用いた end-to-end closed-loop システムを構築。 - depth clouds や明示的な幾何キャリブレーションを避け、VLA ポリシーを直接適用。 - VR teleoperation で 3.71 時間(227 episodes)のデモを収集。 - pi_0、pi_0.5、WALL-OSS を full fine-tuning および LoRA で微調整。 - asynchronous inference-control decoupling を導入し、同期デプロイと比較。

4. どうやって有効だと検証した?

- 統一された 50 trials の実温室プロトコルで評価。 - 指標は completion、success rate、time per pick、damage rate など。 - pi_0.5 with full fine-tuning が success rate 74.0%、32.6 s/pick、damage rate 4.1% を達成。 - asynchronous inference-control decoupling が同期デプロイより性能を改善することを確認。 - デモ動画を公開(https://youtu.be/bN8ZowZKPMI)。

5. 議論はある?

- 4時間未満の実データで非自明な closed-loop picking が可能であることを示した。 - しかし、close-range observability loss と contact-dynamics mismatch により性能が制限される。 - これらの課題は今後の改善点として議論されている。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:pi_0、pi_0.5、WALL-OSS。 - 関連手法:vision-language-action (VLA) ポリシー、full fine-tuning、LoRA、asynchronous inference-control decoupling。 - 同分野の定番:RT-1、RT-2、OpenVLA など(一般名として挙げる)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziyang Zhao, Shuheng Wang, Zhonghua Miao, Ya Xiong

分類: cs.RO, cs.CV

原文アブストラクト

This work presents the first study on transferring vision-language-action (VLA) policies to real greenhouse tabletop strawberry harvesting, a long-horizon, unstructured task challenged by occlusion and specular reflections. We built an end-to-end closed-loop system on the HarvestFlex platform using three-view RGB sensing (two fixed scene views plus a wrist-mounted view) and intentionally avoided depth clouds and explicit geometric calibration. We collected 3.71 h of VR teleoperated demonstrations (227 episodes) and fine-tuned pi_0, pi_0.5, and WALL-OSS with full fine-tuning and LoRA. Under a unified 50 trials real-greenhouse protocol and metrics spanning completion, pi_0.5 with full fine-tuning achieved success rate of 74.0% with 32.6 s/pick and damage rate of 4.1%. Asynchronous inference-control decoupling further improved performance over synchronous deployment. Results showed non-trivial closed-loop picking with fewer than four hours of real data, while remaining limited by close-range observability loss and contact-dynamics mismatch. A demonstration video is available at: https://youtu.be/bN8ZowZKPMI.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI