テキストと画像で考える：長期的ロボット操作のためのインターリーブ型視覚・言語推論トレース

- 長期的なロボット操作のための新しいポリシーフレームワーク IVLR を提案。 - テキストのサブゴールと視覚的なキーフレームを交互に並べた明示的な中間表現 trace を導入。 - テスト時には単一の native multimodal transformer が初期観測と指示から trace を自己生成し、キャッシュして閉ループの行動デコーダの条件付けに使う。 - 長期タスクの論理的一貫性と幾何学的接地を両立させることを目指す。

- 既存の Vision-Language-Action ポリシーは計画を潜在状態に隠すか、テキストのみ/視覚のみの単一モダリティでしか計画を露出しない。 - テキストのみの chain-of-thought は因果順序を符号化するが空間制約を欠き、視覚予測は幾何的手がかりを与えるが局所的で意味的制約が弱い。 - IVLR はテキストと視覚を交互に組み合わせた trace により、両方の利点を統合し、長期horizonのタスクで高い成功率を達成。

- 明示的な中間表現 trace を導入し、テキストのサブゴールと視覚的キーフレームを交互に配置。 - テスト時、単一の native multimodal transformer が初期観測と指示からグローバルな意味幾何 trace を自己生成し、キャッシュ。 - 閉ループの行動デコーダは trace、元の指示、現在の観測に条件付けられる。 - 標準的なロボットデータセットに trace が無いため、デモンストレーションを時間的にセグメント化し、各段階を vision-language model でキャプション付けして疑似教師を構築。

- 長期操作と視覚的分布シフトのシミュレーションベンチマークで評価。 - LIBERO で平均成功率 95.5%、LIBERO-Long で 92.4%、SimplerEnv-WidowX で全体成功率 59.4% を達成。 - アブレーションで両モダリティの必要性を確認：trace 無しでは LIBERO-Long 成功率が 37.7% に低下、テキストのみ 62.0%、視覚のみ 68.4%、完全な交互 trace で 92.4%。 - 実行摂動と trace 内容のマスクによるストレステストでは中程度の劣化が見られ、局所的な破損や中程度の実行ドリフトには耐性があるが、古いまたは誤ったグローバル計画下では限界がある。

- ストレステストの結果、trace は局所的な破損や中程度の実行ドリフトには耐性があるが、古いまたは誤ったグローバル計画下では限界があることが示唆された。 - その他の議論や限界については要旨からは不明。

- 要旨で参照/比較されている研究：Vision-Language-Action policies、text-only chain-of-thought、visual prediction。 - 関連手法：LIBERO、LIBERO-Long、SimplerEnv-WidowX、vision-language model。 - 同分野の定番：RT-1、RT-2、PaLM-E、SayCan などが考えられるが、要旨に明示的な参照は無い。