ロボットアシスタント：器用な視覚-言語-行動モデルによる協調タスクの完遂

- 事前学習済み Vision-Language-Action (VLA) モデル (Open-VLA) を、最小限の language prompting で dexterous な human-robot collaboration に適応した研究。 - 協働タスクとして「pick-up」と「pass」を組み合わせた long-horizon behavior を実現する Robotic Assistant を提案。 - Franka と Mimic-hand による multi-view・teleoperated データセットを用いる。

- 既存 VLA を dexterous な協働作業へ転用する点が特徴。 - 単なる VLA 適応に留まらず、FiLM conditioning・intent head・action-space post-processing を組み合わせる。 - 具体的な prior 手法との定量比較は要旨からは不明。

- 視覚 backbone に FiLM conditioning を追加し task-aware perception を実現。 - 協力者の手姿勢と target cues を予測する auxiliary intent head を付加。 - action-space post-processing で position/rotation の compact deltas と PCA 削減した finger joints を予測し、full commands へ写像。 - MediaPipe hand poses で拡張したデータを使用。

- multi-view・teleoperated な Franka/Mimic-hand データセットで検証。 - delta actions が well-behaved であること、4 主成分で hand-joint variance の約 96% を説明できることを示す。 - ablation で action post-processing が主要因、auxiliary intent は寄与、FiLM は mixed、directional motion loss は有害と報告。 - 単一 RTX 4090 で約 0.3 s latency の real-time stack を構築。

- 主要な限界として「trainer overfitting」、すなわち特定の demonstrator への過適合を指摘。 - FiLM の効果は mixed、directional motion loss は detrimental という ablation 結果。 - 一般化や他 demonstrator への展開に関する詳細は要旨からは不明。

- 要旨で参照される Open-VLA、FiLM、MediaPipe、PCA 関連の研究。 - 同分野の定番として Vision-Language-Action モデル全般や human-robot collaboration、dexterous manipulation の関連論文。