SCULPT-VLA: 段階的行動グラウンディングによる構造化制御の学習

- Vision-language-action (VLA) ポリシーにおいて、action ラベルを超えた構造化された中間 supervision を導入する研究。 - SCULPT-VLA というポリシーを提案し、staged action grounding により構造化制御を学習する。 - action-conditioning state は task progression、scene dynamics、spatial grounding の相補的要因から構成される。 - 学習は段階的カリキュラムで、教師足場あり→足場撤去→知覚的直接アクセス復元という流れ。 - 展開時には teacher も discrete-action autoregression も不要。

- 従来の VLA は action ラベル以外の中間 supervision を組み込むが、action 予測が中間表現にどう依存するかは未解決だった。 - SCULPT-VLA は staged action grounding により、構造への条件付け学習と連続制御の洗練を分離。 - 共有 backbone ベースラインより LIBERO、SimplerEnv-WidowX、RoboTwin 2.0 Full で平均成功率が高い。 - SimplerEnv-WidowX で最終成功率 83.5% に対し、Stage-II で vision と language に直接アクセスする場合は 71.3%。 - 4 つの物理ロボットタスクで分布シフト下の平均成功率 58.1% に対し、π_{0.5} は 45.6%。

- action-conditioning state を task progression、scene dynamics、spatial grounding の要因に分解。 - 訓練段階: まず teacher scaffolds で要因を形成。 - 次に scaffold 入力を徐々に撤去しながら、要因の合成を通じて粗い action 予測を接地。 - その後、知覚への直接アクセスを復元し、学習済み状態と知覚詳細を組み合わせて連続的洗練。 - カリキュラムにより、構造への action 条件付け学習と連続制御の洗練を分離。 - 展開時は teacher も discrete-action autoregression も不要。

- LIBERO、SimplerEnv-WidowX、RoboTwin 2.0 Full で共有 backbone ベースラインと比較。 - SimplerEnv-WidowX で最終成功率 83.5% を達成（Stage-II 直接アクセスは 71.3%）。 - 4 つの物理ロボットタスクで分布シフト下の平均成功率 58.1%（π_{0.5} は 45.6%）。 - 訓練アブレーションと要因ごとの介入を実施。 - 直接知覚アクセス復元後も学習済み状態が制御に寄与し続けることを示す。

- 訓練アブレーションと要因ごとの介入が staged design を支持。 - 学習済み状態は直接知覚アクセス復元後も制御に寄与し続ける。 - 展開時に teacher や discrete-action autoregression が不要である点が利点。 - 限界や失敗事例、計算コスト、スケーラビリティに関する議論は要旨からは不明。

- π_{0.5}（比較対象として言及） - LIBERO、SimplerEnv-WidowX、RoboTwin 2.0 Full を用いた VLA 研究 - 構造化中間 supervision や staged curriculum を用いる VLA ポリシー - Vision-language-action (VLA) ポリシーの一般的な関連研究