Reins: フロンティア基盤モデルによる実機双腕ロボットの長期的タスクのゼロショット実行

- 本論文は Reins という harness を提案する - off-the-shelf の frontier multimodal model が dual-arm robot を操作する枠組み - 3D perception tools と、contact や grip を報告する atomic actions を組み合わせる - 対象は long-horizon かつ contact-rich な実ロボット manipulation - 自然言語 prompt のみで動作し、task-specific code を必要としない - 実シーンから simulation-ready twin を構築し、continual policy learning に用いる

- 先行研究との比較は要旨からは不明 - ただし frontier model は plan や tool 呼び出しはできても、実ロボットの long-horizon 操作は苦手とされる - 本手法では harness 無しの GPT-6.1 Sol は shell game で全滅し、8倍の時間を要した - harness 有りでは 5タスクの実エピソードで 88% 成功 - 3つの frontier model は同程度に動作するが、actor が思考中に変化する scene の追従性に差がある

- off-the-shelf model が 3D perception tools と atomic actions を呼び出す - atomic actions は contact と grip を報告する - model は複数 action を1回の呼び出しで連鎖させ、各 action に成立条件を付与 - 最初に失敗した条件で停止する仕組み - narrator という第2の instance がカメラを連続監視し、各結果で何が変化したかを報告 - 画像から simulation-ready twin を構築し、continual policy learning に利用

- 自然言語 prompt のみ、task-specific code 無しで評価 - GPT-6.1 Sol が 5タスクの実エピソードで 88% 成功 - harness 無しでは shell game で全滅し、8倍の時間を要した - 3つの frontier model を比較し、性能は同程度だが scene tracking に差があることを確認 - 詳細な評価プロトコルは要旨からは不明

- frontier model が思考中や arm 移動中に blind になる問題を harness で緩和 - 3モデル間の scene tracking の差は議論の対象 - long-horizon かつ contact-rich なタスクへの適用可能性 - 限界や失敗事例の詳細は要旨からは不明 - code は publication 時に公開予定

- GPT-6.1 Sol、GPT-6 Astra、Claude Opus 5.5 など frontier multimodal model の比較研究 - 3D perception tools や atomic actions を用いた robot manipulation の先行手法 - simulation-ready twin を用いた continual policy learning 関連研究 - long-horizon manipulation ベンチマークに関する論文