日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.39599

Text-to-3D Policy: 未見仕様への汎化のための細粒度言語-行動アラインメント

Text-to-3D Policy: Fine-Grained Language-Behavior Alignment for Unseen Specification Generalization

シェア:XThreadsFacebookLINEはてブBluesky

言語指示と行動の対応をトークン単位で双方向に結びつけ、未見の細かい仕様変化にも対応できる3D拡散方策を実現した研究。

詳しい要約

1. どんなもの?

本論文は、3D visuomotor policy における unseen specification generalization を扱う。言語が target position、displacement、articulated state などの behaviorally significant な variation を指定するが、それらが policy training に含まれない場合の課題を研究する。提案手法 T3DP は、Text-to-3D Policy framework であり、fine-grained language-behavior alignment を実現する。具体的には、各 instruction と demonstration を単一の global embedding に圧縮せず、局所構造を保持し、linguistic elements と behavioral segments の間の bidirectional token-level correspondence を確立する。これにより、微妙な言語的 variation を、それが影響する be…

2. 先行研究と比べてどこがすごい?

先行研究の text-to-3D policies は、demonstrations でカバーされた範囲を超える unseen fine-grained behavioral specifications に従うことが困難である。また、pretrained language representations や conventional global behavior-language alignment は、coarse task semantics を捉えるものの、異なる behavior を必要とする近接した specifications をしばしば曖昧にする。これに対し T3DP は、各 instruction と demonstration を単一の global embedding に圧縮せず、局所構造を保持し、token-level correspondence を確立することで、近接する specifications が表現空間で collapse するのを防ぐ。その結果、Meta-World、ManiSkill、RoboTwin において、global language…

3. 技術・手法の肝は?

T3DP の肝は、fine-grained language-behavior alignment である。各 instruction と demonstration を単一の global embedding に圧縮するのではなく、それらの局所構造を保持し、linguistic elements と behavioral segments の間の bidirectional token-level correspondence を確立する。これにより、微妙な言語的 variation を、それが影響する behavior components に直接接地させ、近接する specifications が表現空間で collapse するのを防ぐ。得られた specification-sensitive language representation が point-cloud-based 3D diffusion policy を条件付け、policy architecture を変更せずに unseen behavioral specifications をより正確に制御する。

4. どうやって有効だと検証した?

Meta-World、ManiSkill、RoboTwin の 3 つのベンチマークで評価し、global language-behavior alignment と比較して平均 held-out-specification success を +11.0-14.2 points 改善し、15 の全 task families で向上した。実ロボットタスクでは平均 success を 47.5% から 65.0% へ +17.5 points 向上させた。さらに representation と action-probe の分析により、fine-grained alignment が specification geometry と action-relevant variation をよりよく保持し、local behavior grounding を下流の制御に結びつけることを示した。

5. 議論はある?

本論文では、pretrained language representations と conventional global behavior-language alignment が coarse task semantics を捉える一方で、異なる behavior を必要とする近接した specifications を曖昧にすることを指摘している。T3DP は局所構造を保持し token-level correspondence を確立することでこの問題を緩和する。representation と action-probe の分析から、fine-grained alignment が specification geometry と action-relevant variation をよりよく保持し、local behavior grounding を下流の制御に結びつけることが示唆される。ただし、要旨からは限界や議論の詳細は不明である。

6. 次に読むべき論文は?

要旨で参照・比較されている研究として、global language-behavior alignment を用いる conventional text-to-3D policies が挙げられる。また、point-cloud-based 3D diffusion policy や pretrained language representations も関連手法として言及されている。次に読むべき論文としては、これらの関連手法の原論文や、Meta-World、ManiSkill、RoboTwin を用いた他の text-to-3D policy 研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinhao Yang, Wenhao Wu, Ning Lv, Yanshen Ding, Zhenhong Sun, Daoyi Dong, Chunlin Chen, Zhi Wang

分類: cs.RO, cs.AI

原文アブストラクト

3D visuomotor policies provide a strong foundation for spatially precise manipulation, yet current text-to-3D policies struggle to follow unseen fine-grained behavioral specifications beyond those covered by demonstrations. We study this challenge as unseen specification generalization, where language specifies behaviorally significant variations, such as target position, displacement, or articulated state, that are absent from policy training. We find that pretrained language representations and conventional global behavior-language alignment capture coarse task semantics but often blur nearby specifications that require distinct behaviors. We introduce T3DP, a Text-to-3D Policy framework for fine-grained language-behavior alignment. Rather than compressing each instruction and demonstration into a single global embedding, T3DP preserves their local structures and establishes bidirectional token-level correspondence between linguistic elements and behavioral segments. This directly grounds subtle linguistic variations in the behavior components they affect, preventing closely related specifications from collapsing in the representation space. The resulting specification-sensitive language representation conditions a point-cloud-based 3D diffusion policy, enabling more precise control over unseen behavioral specifications without modifying the underlying policy architecture. Across Meta-World, ManiSkill, and RoboTwin, T3DP improves average held-out-specification success over global language-behavior alignment by +11.0-14.2 points, with gains on all 15 task families; on real-robot tasks, it further raises average success from 47.5% to 65.0% (+17.5 points). Representation and action-probe analyses show that fine-grained alignment better preserves specification geometry and action-relevant variation, linking local behavior grounding to downstream control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI