日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.09572

CT-VAM: 小脳-視床に着想を得た効率的な視覚運動制御のための視覚行動モデル

CT-VAM: A Cerebello-Thalamic-Inspired Vision-Action Model for Efficient Visuomotor Control

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルによる高次推論とローカルでの高速制御を分離するため、小脳-視床経路に着想を得た軽量な視覚行動モデルCT-VAMを提案。68Mパラメータで大規模VLAに匹敵する性能を達成し、実機でも高速制御を実現した。

詳しい要約

1. どんなもの?

- Vision-Action Model の一種で、Cerebello-Thalamic に着想を得た CT-VAM を提案。 - 高頻度低レベル実行では言語を繰り返し処理せず、タスク意図指定にのみ言語を使う分離設計。 - 小型ローカル実行ポリシーとして、dualview 視覚観測・proprioception・軽量タスク条件から action chunks を予測。 - cloud-edge paradigm を想定し、高レベル意味推論は大規模モデル、高速閉ループ制御はローカルハードウェアで実行可能にする。

2. 先行研究と比べてどこがすごい?

- 従来の VLA モデルは高頻度実行時にも言語を繰り返し処理する傾向があったが、CT-VAM は言語をタスク意図指定に限定。 - 68M パラメータという小型モデルで、はるかに大規模な VLA モデルと競合する LIBERO 成功率を達成。 - 推論レイテンシを削減し、リソース制約のあるロボットプラットフォームでの実世界展開を実証。

3. 技術・手法の肝は?

- TARS (Thalamic Action Routing Stream) を導入。 - TARS は stream-separated conditional attention decoder で、action・visual・task ストリームを独立にルーティング。 - これにより密な sensory tokens がコンパクトな task-relevant conditions を圧倒するのを防ぐ。 - flow-consistent inpainting により非同期 chunk 実行を可能にし、高頻度制御をサポート。

4. どうやって有効だと検証した?

- LIBERO ベンチマークで成功率を評価し、大規模 VLA モデルと競合する性能を確認。 - 推論レイテンシの削減を検証。 - リソース制約のあるロボットプラットフォーム上での実世界展開の堅牢性を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Vision-Language-Action models (VLA)、LIBERO benchmark、flow-consistent inpainting が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiacheng Li, Yize Guo, Jiabin Guo, Qingchen Liu, Jiahu Qin

分類: cs.RO, cs.AI

原文アブストラクト

Vision-language-action models have shown strong promise for robot manipulation, yet raw language is primarily needed to specify task intent rather than to be repeatedly processed during high-frequency low-level execution. Motivated by this separation, we propose a cerebello-thalamic-inspired vision-action model (CT-VAM) for efficient task-conditioned visuomotor control. CT-VAM acts as a compact local execution policy that predicts action chunks from dualview visual observations, proprioception, and a lightweight task condition, potentially enabling a practical cloud-edge paradigm in which high-level semantic reasoning can be handled by large models while fast closed-loop control runs on local hardware. To fuse heterogeneous inputs effectively, CT-VAM introduces TARS (Thalamic Action Routing Stream), a stream-separated conditional attention decoder that independently routes action, visual and task streams, preventing dense sensory tokens from overwhelming compact task-relevant conditions. With only 68M parameters, CT-VAM achieves LIBERO success rates competitive with substantially larger VLA models, while reducing inference latency. Together with flow-consistent inpainting for asynchronous chunk execution, CT-VAM supports high-frequency control and demonstrates robust realworld deployment on resource-constrained robotic platforms.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI