日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.36416

FineART: 両手マニピュレーションのための細粒度注釈付きロボット軌道データセットと視覚-言語-行動モデル

FineART: Fine-grained Annotated Robotic Trajectory Dataset and Vision-Language-Action Model for Bimanual Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

40,543エピソード・1,718時間・533,913サブタスクからなる密注釈付き両手操作データセットFineARTを構築し、次のサブタスクを自己予測するVLAモデルFineART-VLAを提案した。中間学習により長期的タスクの成功率が大幅に向上し、新ロボットへの少データ適応とゼロショット汎化も示した。

詳しい要約

1. どんなもの?

- 実世界のロボットが長期的な多段階の両手作業を実行するためのデータセットとモデルを提案。 - FineART: 40,543エピソード、1,718時間、533,913サブタスク、151タスクからなる密に注釈付けされた両手操作データセット。 - FineART-VLA: 次のサブタスクを自己予測するVision-Language-Actionポリシー。 - データセット、モデル重み、トレーニングコードをオープンソース化。

2. 先行研究と比べてどこがすごい?

- 既存の操作データセットは単腕で数十万軌道あるが、1エピソードに1つの高レベル指示のみ。 - 両腕のデータセットは稀で、サブタスクを注釈付けしても時間の一部のみ。 - FineARTは大規模で密なサブタスク注釈を提供し、両手操作を支援。 - FineART-VLAは自己サブタスク予測により、空間曖昧性解消タスクで成功率32.0%→100.0%、未見長期タスクで16.0%→76.0%に向上。 - 新ロボットへの微調整でベースラインの1/10のデータで済み、ゼロショットで未見タスクに汎化。

3. 技術・手法の肝は?

- FineART-VLAはVision-Language-Actionポリシーで、次のサブタスクを自己予測する。 - ミッドトレーニングでこの自己予測を行うことで性能向上。 - 人間によるサブタスクガイダンスも利用。 - 詳細な技術は要旨からは不明。

4. どうやって有効だと検証した?

- 空間曖昧性解消タスクで成功率が32.0%から100.0%に増加。 - 未見の長期タスクで人間のサブタスクガイダンスにより成功率が16.0%から76.0%に向上。 - 新ロボットへの最小限の微調整後、ベースラインの1/10のデータで済み、ゼロショットで未見タスクに汎化。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、単腕操作データセット(例: RT-1, BridgeData)や両腕操作データセット(例: RoboTurk, RoboNet)が関連。 - Vision-Language-Actionモデル(例: RT-2, PaLM-E)も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jade Choghari, Pepijn Kooijmans, Mansi Agarwal, Yusuf Umut Ciftci, Aseem Doriwala, Catherine Weaver, Mouli Sivapurapu, Kai Yang, Jackson Lee, Thomas Wolf, Pragna Mannam

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Robots operating in real-world environments must execute complex, multi-step bimanual tasks over long horizons rather than single, isolated actions. Current manipulation datasets struggle to support this capability: although single-arm datasets reach hundreds of thousands of trajectories, they typically provide only one high-level instruction per episode while the rare bimanual effort that does label subtasks annotates only a fraction of its hours. We present FineART, a densely annotated bimanual manipulation dataset of 40,543 episodes, 1,718 hours, and 533,913 subtasks across 151 tasks. We also introduce FineART-VLA, a vision-language-action policy that predicts its own next subtask, and show that mid-training it this way yields substantial gains. Specifically, success on a spatial disambiguation task increases from 32.0% to 100.0%, and step-by-step human subtask guidance lifts success on an unseen long-horizon task from 16.0% to 76.0%. Furthermore, after minimal fine-tuning on a new robot, the policy requires one-tenth the data of baselines without mid-training and generalizes zero-shot to completely unseen tasks on the new hardware. We open-source the full dataset, model weights, and training code.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI