推論から行動へ：視覚-言語-行動モデルのための結果に基づく整合フレームワーク

- 本論文は CoRAct という、Vision-Language-Action (VLA) モデルにおける推論と行動の整合を図るフレームワークを提案する。 - 近年の VLA は embodied chains of thought (ECoTs) を行動生成の条件付けに用いるが、行動が ECoT に明示的に最適化されていない点を問題視する。 - CoRAct は action noise space 上での reward-guided optimization により、reasoning と action を明示的に整合させる。 - ECoT の構成要素として movement (意図する運動) と waypoints (期待される空間的帰結) を検証可能な信号として定式化する。

- 先行の ECoT ベース VLA は、行動を ECoT に条件付けるだけで、行動が ECoT に整合するよう明示的に最適化していなかった。 - CoRAct は reasoning を単なる条件付けではなく、検証可能な信号 (movement, waypoints) に基づく報酬で行動生成を最適化する点が新しい。 - 外部から与えられた ECoT を実行可能な行動に接地 (grounding) でき、強力な vision-language models の知識を活用した zero-shot adaptation を可能にする。 - 実験で strong ECoT-based VLA baselines に対し task success, generalization, reasoning-execution alignment の改善を示す。

- ECoT の 2 成分を検証可能な信号として定式化: movement は意図する運動、waypoints は期待される空間的帰結を表す。 - 統一的な Mixture-of-Transformers が ECoT reasoning、action generation、action-conditioned future prediction を共同でモデル化する。 - サンプリングしたノイズから候補行動を生成し、movement consistency と、予測結果と指定 waypoints の一致に基づく alignment rewards を計算する。 - これらの報酬で初期ノイズ分布を group-relative optimization し、意図した行動と期待される帰結に整合するよう行動生成を誘導する。

- RoboCasa、VLABench、実世界の manipulation tasks で実験を行う。 - strong ECoT-based VLA baselines と比較し、task success、generalization、reasoning-execution alignment の改善を報告する。 - 外部提供の ECoT を実行可能な行動に接地できることを示し、zero-shot adaptation の有効性を検証する。 - 具体的な評価指標の詳細や被験者数などは要旨からは不明。

- 要旨からは不明。 - 報酬設計の感度や group-relative optimization の安定性、実世界タスクでの限界については要旨に記述がない。 - 外部 ECoT の品質依存性や zero-shot adaptation の適用範囲も要旨からは不明。

- ECoT を用いる VLA の代表的手法 (embodied chains of thought を導入した VLA) の原論文。 - Mixture-of-Transformers に関する研究。 - group-relative optimization の基盤手法 (例: Group Relative Policy Optimization 系)。 - ベンチマークとして RoboCasa および VLABench の原論文。 - action-conditioned future prediction や waypoint ベースの行動生成に関する関連研究。