MIRTH: 相互情報推論と時間的ハブによる視覚-言語-行動エージェント

- 視覚・言語・行動を統合する VLA モデル向けの統合フレームワーク MIRTH を提案。 - 単一フレーム構造の限界（時間的近視、推論ギャップ、自己回帰復号の非効率）を克服する。 - 事前学習済み VLA バックボーンに 3 つの新規要素を追加。 - dual-scale temporal memory hubs - mutual-information 目的で最適化される latent reasoning tokens - 並列 action decoding scheme - LIBERO シミュレーションベンチマークと実世界 LeRobot プラットフォームで評価。 - コードとデータセットを公開。

- 従来の単一フレーム VLA は時間的近視で履歴動態を捨て、高レベル指示と低レベル運動指令の推論ギャップ、自己回帰スカラー復号による推論非効率を抱える。 - MIRTH は dual-scale temporal memory hubs で長期シーン進化と短期運動傾向を圧縮埋め込みとして保持。 - latent reasoning tokens と mutual-information 目的で意味的計画空間を形成し、マルチモーダル文脈と行動軌跡を整合。 - 並列 action decoding で自己回帰生成をベクトル予測に置換し制御スループットを最大化。 - 結果として LIBERO と LeRobot で state-of-the-art 性能と創発的エラー回復能力を示す。

- 事前学習済み VLA バックボーンを拡張。 - dual-scale temporal memory hubs：長期シーン進化と短期運動傾向をコンパクト埋め込みに圧縮。 - latent reasoning tokens：mutual-information 目的で最適化され、マルチモーダル文脈と行動軌跡を整合する意味的計画空間を形成。 - parallel action decoding scheme：自己回帰生成をベクトル単位予測に置き換え、制御スループットを最大化。 - これら 3 要素を統合した unified framework。

- LIBERO シミュレーションベンチマークで評価。 - 実世界 LeRobot プラットフォームで評価。 - MIRTH が state-of-the-art 性能を達成し、創発的エラー回復能力を示すことを確認。 - コードと収集データセットを公開。

- 要旨からは不明。 - 限界や失敗事例、計算コスト、一般化性に関する議論は要旨に記載なし。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として VLA モデル、LIBERO ベンチマーク、LeRobot プラットフォームが挙げられる。 - 同分野の定番として vision-language-action models、temporal memory、mutual information、parallel decoding に関する研究を読むべき。