日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2603.12967

言語基盤の分離型行動表現によるロボット操作

Language-Grounded Decoupled Action Representation for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

自然言語を意味的ブリッジとして用い、翻訳・回転・グリッパー制御という3つの解釈可能な行動プリミティブを導入し、対照学習と模倣学習を組み合わせて汎化性能を高めるロボット操作フレームワークを提案した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションにおける視覚言語理解と低レベル行動制御の異質性を解消するフレームワーク。 - 自然言語を意味的橋渡しとして用い、知覚と制御を接続する。 - 解釈可能な3つの行動プリミティブ(translation, rotation, gripper control)を中間層として導入。 - 意味誘導型ソフトラベル対照学習により、タスク間で類似行動プリミティブを整列。 - カリキュラム学習に着想を得た適応的重み付けで対照損失と模倣損失を動的にバランス。

2. 先行研究と比べてどこがすごい?

- 従来手法はタスク固有の行動アラインメントに留まり、新規または意味的に関連するタスクへの汎化が困難。 - LaDAは自然言語を意味的橋渡しとし、解釈可能な行動プリミティブを中間表現に導入。 - 意味誘導型ソフトラベル対照学習により、タスク間の類似行動を整列し、汎化と運動一貫性を向上。 - 適応的重み付けで安定かつ効果的な訓練を実現。

3. 技術・手法の肝は?

- 自然言語を意味的橋渡しとして知覚と制御を接続。 - 3つの解釈可能な行動プリミティブ(translation, rotation, gripper control)を細粒度中間層として導入。 - 意味誘導型ソフトラベル対照学習目的関数により、類似行動プリミティブをタスク間で整列。 - カリキュラム学習に着想を得た適応的重み付け戦略で、対照損失と模倣損失を動的にバランス。

4. どうやって有効だと検証した?

- シミュレーションベンチマーク(LIBEROおよびMimicGen)と実世界デモンストレーションで広範な実験を実施。 - LaDAが強い性能を達成し、未見または関連タスクに効果的に汎化することを検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- LIBERO - MimicGen - 対照学習(contrastive learning) - 模倣学習(imitation learning) - カリキュラム学習(curriculum learning)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wuding Weng, Tongshu Wu, Liucheng Chen, Siyu Xie, Zheng Wang, Xing Xu, Jingkuan Song, Heng Tao Shen

分類: cs.RO

原文アブストラクト

The heterogeneity between high-level vision-language understanding and low-level action control remains a fundamental challenge in robotic manipulation. Although recent methods have advanced task-specific action alignment, they often struggle to generate robust and accurate actions for novel or semantically related tasks. To address this, we propose the Language-Grounded Decoupled Action Representation (LaDA) framework, which leverages natural language as a semantic bridge to connect perception and control. LaDA introduces a fine-grained intermediate layer of three interpretable action primitives--translation, rotation, and gripper control--providing explicit semantic structure for low-level actions. It further employs a semantic-guided soft-label contrastive learning objective to align similar action primitives across tasks, enhancing generalization and motion consistency. An adaptive weighting strategy, inspired by curriculum learning, dynamically balances contrastive and imitation objectives for stable and effective training. Extensive experiments on simulated benchmarks (LIBERO and MimicGen) and real-world demonstrations validate that LaDA achieves strong performance and generalizes effectively to unseen or related tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI