脳に倣う潜在行動：ロボットの行動語彙に前運動皮質の幾何構造を課す

- ロボット政策が使う離散 latent action の語彙に対し、どの動作にどの code を割り当てるかという自由度を利用し、macaque ventral premotor cortex (PMv) の表現幾何を課す研究。 - 対象は Moto の latent motion tokenizer。形状描画中の PMv 記録を教師として code assignment を整列させる。 - 学習は robot video 上の reconstruction objective と straight-through similarity loss を同時に最適化する枠組み。

- 既存の latent action 学習は code assignment が不安定で、独立 2 回の学習で同一 robot clip がほぼ無関係な code になる (adjusted Rand index 0.001)。 - bf16 評価で fp32 から 74% の token が再割当される不安定性を指摘。 - この自由度を逆手に取り、未見 5 形状カテゴリで PMv との representational similarity 0.52 を達成。released/no-prior tokenizer は 0.20-0.26、random kinematic encoder の 95 パーセンタイルは 0.42。

- Moto の latent motion tokenizer の code assignment に、PMv 記録の表現幾何を straight-through similarity loss で課す。 - reconstruction objective と並行して robot video 上で学習。 - 比較対象として kinematic, language, random の各 target を用い、PMv 以外では転移しないことを確認。 - label-shuffled PMv control も用意。

- 学習に使っていない 5 形状カテゴリで PMv との representational similarity を評価。 - PMv-trained tokenizer 0.52 に対し released/no-prior 0.20-0.26、random kinematic encoder 95th percentile 0.42。 - kinematic/language/random target は -0.17 から -0.03 で転移せず。 - 下流 manipulation test は CALVIN pipeline (Moto の公表結果を再現) 上で、実行前に仕様を規定したと記載。

- 主張を制限する 2 結果: 手選びの kinematic descriptor (stroke の initial direction) が PMv とより良く一致 (0.65)。 - label-shuffled PMv control が 0.41 と高く、単純な shuffle では説明できないが限界。 - 下流 manipulation test の結果は要旨からは不明。

- Moto の latent motion tokenizer と公表結果 (CALVIN pipeline)。 - macaque ventral premotor cortex (PMv) の形状描画記録。 - kinematic encoder / language target / random target との比較手法。 - 同分野の定番として latent action 学習や behavior cloning 関連の基礎研究。