ピクセルからトークンへ：視覚言語行動モデルにおける潜在行動教師あり学習の体系的研究

- Vision-Language-Action (VLA) モデルにおいて、latent action を中間表現として用いる研究。 - 従来は latent action による supervision 手法が断片的で体系的な比較が欠如。 - 本研究は supervision を2視点から構造化: (i) image-based latent actions による trajectory の正則化、(ii) action-based latent actions による target space の統一。 - 統一 VLA baseline 上で4つの代表的な統合戦略を実装・比較。 - 結果として formulation-task correspondence を明らかにし、discrete latent action tokens による直接 supervision が最も効果的と報告。 - mixed-data における latent action supervision の利点にも初期知見を提供。

- 従来の latent action supervision は手法が断片化し、体系的な比較が存在しなかった。 - 本研究は統一 VLA baseline の下で4つの統合戦略を初めて系統的に比較。 - image-based と action-based の latent actions の特性を整理し、タスクとの対応関係を明示。 - discrete latent action tokens による直接 supervision が最も有効であることを示した点が新規。 - mixed-data への適用可能性に関する初期知見も先行研究には見られない。

- 統一 VLA baseline を構築し、latent action supervision の統合戦略を4つ実装。 - 視点(i): image-based latent actions で trajectory を正則化。 - 視点(ii): action-based latent actions で target space を統一。 - 各戦略を同一条件下で比較評価。 - 特に VLM を discrete latent action tokens で直接 supervision する手法を検討。 - 詳細なアーキテクチャや学習手順は要旨からは不明。

- 統一 VLA baseline 上で4つの統合戦略を実装し比較実験を実施。 - 結果として formulation-task correspondence を確認: image-based は long-horizon reasoning と scene-level generalization に有利、action-based は complex motor coordination に優れる。 - discrete latent action tokens による直接 supervision が最も効果的であることを実験的に示した。 - mixed-data における利点についても初期実験で検証。 - 具体的なデータセット名や評価指標は要旨からは不明。

- image-based と action-based の latent actions はタスク特性に応じて使い分けるべきという formulation-task correspondence を提示。 - discrete latent action tokens による直接 supervision の有効性を強調。 - mixed-data における latent action supervision の利点は初期知見であり、今後の研究方向として有望と述べる。 - 限界や課題については要旨からは不明。

- 要旨で参照/比較されている具体的な先行研究は明記されていない。 - 関連手法として latent action を用いた VLA モデル、image-based latent actions、action-based latent actions、discrete latent action tokens が挙げられる。 - 同分野の定番として Vision-Language-Action (VLA) モデル、Vision-Language Model (VLM)、latent action representation に関する研究が次に読むべき候補。 - コード: https://github.com/RUCKBReasoning/From_Pixels_to_Tokens