日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作arXiv:2608.09771

SLIM-0.5B: ロボット操作のための行動基盤予測潜在表現の学習

SLIM-0.5B: Learning Action-Grounded Predictive Latents for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

小型の0.5Bパラメータの潜在相互作用ポリシーを提案し、行動に基づく予測潜在表現を自己教師ありで学習することで、大規模VLAモデルと同等以上の性能を少ないパラメータで達成した。

詳しい要約

1. どんなもの?

SLIM-0.5Bは、ロボット操作のためのコンパクトな0.5Bパラメータの潜在相互作用ポリシーである。視覚と言語の大規模バックボーンに依存する従来のVision-Language-Action (VLA)ポリシーとは異なり、SLIMは自己教師ありのマスク軌道予測を通じて、行動に基づく予測潜在表現を学習する。この表現は、行動条件付きの将来遷移と、観測変化を説明する行動の両方を捉える。Mixture-of-Transformers (MoT)バックボーンを用いて観測潜在表現と行動トークンの相互作用をモデル化し、flow matchingにより言語条件付き行動生成を訓練する。

2. 先行研究と比べてどこがすごい?

従来のVLAポリシーは大規模なマルチモーダルバックボーンに依存し、オープンドメインのセマンティクスに多くの容量を割くが、連続的なロボット操作には観測・行動・遷移のコンパクトな表現が主に必要である。ピクセルレベルの世界モデルは制御に無関係な視覚詳細の予測にコストがかかる。SLIMは、行動に基づく潜在表現を学習することで、これらの非効率性を回避し、追加の身体化事前学習なしで、より少ないパラメータで代表的な大規模VLAや世界行動モデルのベースラインに匹敵または上回る性能を達成する。

3. 技術・手法の肝は?

SLIMは、自己教師ありのマスク軌道予測を用いて、行動に基づく予測潜在表現を学習する。具体的には、行動再構成と将来潜在予測を組み合わせる。コンパクトなMixture-of-Transformers (MoT)バックボーンが観測潜在表現と行動トークンの相互作用をモデル化する。最終的なポリシーは、言語条件付き行動生成のためのflow matchingで訓練される。

4. どうやって有効だと検証した?

シミュレーションベンチマークと実世界評価の両方で、SLIMは代表的な大規模VLAおよび世界行動モデルのベースラインと比較され、より少ないパラメータ、追加の身体化事前学習なし、低い推論レイテンシ、および大幅に低いGPUメモリ使用量で、匹敵または上回る性能を示した。

5. 議論はある?

要旨からは、SLIMの潜在表現がどの程度解釈可能か、また、より複雑なタスクや多様な環境での一般化の限界については不明である。また、0.5Bパラメータという規模が最適かどうか、スケールアップの効果についても議論の余地がある。

6. 次に読むべき論文は?

要旨で参照されているベースラインには、大規模VLAポリシーと世界行動モデルが含まれる。具体的な論文名は不明だが、関連分野の定番として、Vision-Language-Actionモデル(例:RT-2、OpenVLA)や世界モデル(例:Dreamer、IRIS)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingkai Wang, Zihan Tang, Gu Zhang, Mingyu Cao, Jiapeng Chen, Jingjiao Zhao, Xiansheng Chen, Pengwei Wang, Lemao Liu, Dejing Dou

分類: cs.RO

原文アブストラクト

Vision-language-action policies rely on large multimodal backbones to jointly perform perception, language conditioning, and action generation at every control step. Much of this capacity supports open-domain semantics, whereas continuous robot manipulation primarily requires compact representations of observations, actions, and the transitions induced by actions. Pixel-level world models provide another route, but predicting visual details irrelevant to control can be unnecessarily expensive. We propose SLIM (Self-supervised Latent Interaction Model), a compact 0.5B-parameter latent interaction policy. SLIM learns action-grounded predictive latents that capture both action-conditioned future transitions and the actions that explain observed changes. SLIM learns these representations through self-supervised masked trajectory prediction, combining action reconstruction with future-latent prediction. A compact Mixture-of-Transformers (MoT) backbone models interactions between observation latents and action tokens. The resulting policy is trained with flow matching for language-conditioned action generation. Across simulation benchmarks and real-world evaluation, SLIM matches or exceeds representative large-scale VLA and world-action-model baselines with fewer parameters, no additional embodied pretraining, lower inference latency, and substantially lower GPU memory usage.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI