Act4R: 運動学不要の制御のための行動条件付き4D再構成

- ロボットの動作制御を目的とした、行動条件付き4D再構成フレームワーク「Act4R」を提案。 - 3D foundation modelを基盤とし、任意の行動信号からロボットの3D scene flowを予測する。 - 2D観測から持ち上げた4D特徴を活用し、キネマティクスに依存しない制御を実現する。 - 特定のembodimentのサンプルで訓練後、逆制御により所望のscene flowを達成する行動を最適化できる。

- 従来のロボット制御は複雑な構造のモデル化に時間・専用センサ・手動ラベリングを要した。 - 4D表現学習の進展により、2D観測から4D特徴を持ち上げる代替手段が可能になった。 - Act4Rは、行動条件付きscene flow予測において先行SoTAを上回る性能を示す。 - 逆制御においても行動精度指標およびシミュレーションの閉ループ制御で優れる。

- Spatial-Action Encoderを導入し、現在の2Dロボット状態と行動信号を3Dの未来状態を表す埋め込みに符号化する。 - 現在と未来の空間埋め込みをpoint mapsにデコードし、行動条件付きscene flowを推定する。 - transformer-based encoder内でspatial-action fusionを導入し、行動と未来状態のマッピングを効果的に学習する。 - spatial alignment lossにより、エンコーダが未来のflow予測を導くように訓練する。

- 公開実世界データセットとシミュレータで収集した合成データで評価。 - 様々なロボットプラットフォームでの実験により、scene flow予測で先行SoTAを上回ることを示す。 - 逆制御において、行動精度指標およびシミュレーションの閉ループ制御で優れた性能を確認。

- 要旨からは不明。

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、3D foundation model、4D representation learning、scene flow prediction、inverse controlに関する論文が挙げられる。