運動予測と計画のスケーリング則

- 自動運転領域における joint motion forecasting and planning タスクを対象に、encoder-decoder autoregressive transformer モデル群の経験的 scaling law を調べた技術報告。 - 50万時間の走行データセットを用い、言語モデリングと同様に性能が総 compute budget の power-law 関数として改善することを示す。 - 学習 loss と評価指標の強い相関、closed-loop 指標も scaling で改善する点、training compute-optimal なモデルサイズとデータサイズの最適比率、inference-time compute scaling を扱う。

- 言語モデリングで知られる scaling law を、自動運転の joint motion forecasting and planning に大規模データで適用した点が特徴。 - 学習 loss と評価指標の相関に加え、closed-loop 指標も scaling で改善することを示し、open-loop 指標のモデル開発・hill climbing への適合性に重要な示唆を与える。 - 先行研究との具体的な比較は要旨からは不明。

- encoder-decoder autoregressive transformer を用い、50万時間の走行データセットで学習。 - 総 compute budget に対する性能の power-law を経験的に推定。 - training compute-optimal な transformer parameters 数と training data size の最適 scaling を分析し、compute budget 増加時にモデルサイズをデータサイズの1.5倍の速さで増やす必要があると報告。 - inference-time compute scaling として、小モデルの出力を sampling と clustering する手法を検討。

- 50万時間の走行データセットを用いた学習実験で、性能が総 compute budget の power-law に従うことを示す。 - 学習 loss と評価指標の強い相関を確認。 - closed-loop 指標も scaling で改善することを確認。 - sampling と clustering により小モデルが crossover point まで大モデルと競合することを観察。

- closed-loop 指標も scaling で改善するため、open-loop 指標のモデル開発・hill climbing への適合性に重要な含意があると議論。 - inference-time compute scaling では crossover point を超えると大モデルの方が inference-compute efficient になる点を議論。 - 他エージェントの一般 logged driving data での学習が ego-agent 性能向上に有用かも簡潔に検討し、大容量モデル学習のための robotics data 不足への対処として重要と位置づけ。

- 要旨で参照/比較されている具体的な先行研究は明示されていない。 - 関連手法として、言語モデリングの scaling law、encoder-decoder autoregressive transformer、joint motion forecasting and planning、closed-loop 評価、inference-time compute scaling（sampling と clustering）が挙げられる。 - 同分野の定番として motion forecasting および planning の transformer ベース手法、自動運転の closed-loop 評価に関する研究を次に読む候補とする。