日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.15912

TeNet: テキストからコンパクトなポリシーを合成するネットワーク

TeNet: Text-to-Network for Compact Policy Synthesis

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルのテキスト埋め込みをハイパーネットワークに入力し、自然言語指示から直接コンパクトで実行可能なロボットポリシーを生成する手法を提案。実行時は低次元状態のみで高速制御を実現する。

詳しい要約

1. どんなもの?

TeNet(Text-to-Network)は、自然言語の指示からコンパクトでタスク特化型のロボットポリシーを直接生成するフレームワーク。事前学習済みLLMのテキスト埋め込みを条件としてhypernetworkが実行可能なポリシーを生成し、実行時は低次元状態入力のみで高周波制御を行う。言語はポリシー生成時に一度だけ使用する。

2. 先行研究と比べてどこがすごい?

従来は手設計インターフェースによる高レベル計画か、リアルタイム制御に展開困難な大規模end-to-endモデルに依存していた。TeNetはLLMの一般知識とparaphrasing robustnessを継承しつつ、実行時は軽量・高効率で、sequence-basedベースラインより桁違いに小さいポリシーを生成する点が優れる。

3. 技術・手法の肝は?

事前学習済みLLMが生成するtext embeddingsにhypernetworkを条件付け、完全に実行可能なポリシーを生成する。言語はポリシーインスタンス化時に一度だけ使用。訓練時にテキスト埋め込みを実演行動と整合させて言語をbehaviorにgroundingするオプションを備えるが、推論時には実演を必要としない。

4. どうやって有効だと検証した?

MuJoCoとMeta-Worldベンチマークで実験。multi-task設定とmeta-learning設定の両方で強い性能を達成し、高周波制御をサポートすることを示した。またsequence-basedベースラインと比較して桁違いに小さいポリシーを生成することを確認。

5. 議論はある?

要旨からは不明。resource-constrainedなロボット制御タスクにおいて、text-conditioned hypernetworksがコンパクトで言語駆動型のコントローラを構築する実用的な方法であると結論付けている。

6. 次に読むべき論文は?

要旨で参照・比較されているsequence-basedベースライン(具体的名称は要旨からは不明)。関連手法としてhypernetwork、LLMによるtext embeddings、MuJoCo、Meta-Worldが挙げられる。同分野の定番としてbehavior cloningやmeta-learning、end-to-end policy learningも次に読む候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ariyan Bighashdel, Kevin Sebastian Luck

分類: cs.RO, cs.AI

原文アブストラクト

Robots that follow natural-language instructions often either plan at a high level using hand-designed interfaces or rely on large end-to-end models that are difficult to deploy for real-time control. We propose TeNet (Text-to-Network), a framework for instantiating compact, task-specific robot policies directly from natural language descriptions. TeNet conditions a hypernetwork on text embeddings produced by a pretrained large language model (LLM) to generate a fully executable policy, which then operates solely on low-dimensional state inputs at high control frequencies. By using the language only once at the policy instantiation time, TeNet inherits the general knowledge and paraphrasing robustness of pretrained LLMs while remaining lightweight and efficient at execution time. To improve generalization, we optionally ground language in behavior during training by aligning text embeddings with demonstrated actions, while requiring no demonstrations at inference time. Experiments on MuJoCo and Meta-World benchmarks show that TeNet produces policies that are orders of magnitude smaller than sequence-based baselines, while achieving strong performance in both multi-task and meta-learning settings and supporting high-frequency control. These results show that text-conditioned hypernetworks offer a practical way to build compact, language-driven controllers for ressource-constrained robot control tasks with real-time requirements.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI