日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.02239

LACY: 自己改善型ロボットマニピュレーションのための視覚言語モデルに基づく言語-行動サイクル

LACY: A Vision-Language Model-based Language-Action Cycle for Self-Improving Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

言語から行動への変換と行動から言語への説明を双方向に学習する視覚言語モデルを提案し、低信頼ケースを能動的に拡張して自己改善することで、実機・シミュレーションのピック&プレース成功率を平均56.46%向上させた。

詳しい要約

1. どんなもの?

- ロボット操作のための視覚言語モデル(VLM)ベースの統合フレームワーク - 言語から行動への写像(L2A)と行動から言語への写像(A2L)を双方向に学習 - さらに2つの言語記述間の意味的一貫性検証(L2C)も同時に学習 - これら3タスクの共同学習により、行動と説明を相互に結びつける基盤を形成 - 自己改善サイクルを持ち、人手ラベルなしで新たな訓練データを自律生成・選別 - 対象はpick-and-placeタスク(シミュレーションと実世界の両方)

2. 先行研究と比べてどこがすごい?

- 従来のL2A(言語→行動)の一方向パラダイムに対し、A2L(行動→言語)を補完的に導入 - 一方向の政策は文脈理解が浅く、汎化や行動説明が難しいという課題を指摘 - 行動と説明の双方向写像を単一VLM内で統合する点が新規 - L2C(言語記述間の意味的一貫性検証)を学習タスクとして組み込む点も特徴 - 自己改善サイクルにより追加の人手ラベルなしで性能向上を図る点が先行研究と異なる - 実験でタスク成功率が平均56.46%向上したと報告

3. 技術・手法の肝は?

- 単一のvision-language model内で3タスクを共同学習 - L2A: 言語指示からパラメータ化された行動を生成 - A2L: 観測された行動を言語で説明 - L2C: 2つの言語記述間の意味的一貫性を検証 - 自己改善サイクル - 低信頼度(low-confidence)ケースを狙うactive augmentation戦略 - 新規訓練データを自律生成しフィルタリング - 人手ラベルを追加せずにモデルを改善 - 双方向写像によりリッチな内部表現と自己教師あり学習の新パラダイムを狙う

4. どうやって有効だと検証した?

- pick-and-placeタスクで検証 - シミュレーション環境と実世界環境の両方で実験 - 評価指標としてタスク成功率を測定 - LACYにより平均56.46%の成功率向上を報告 - 言語と行動のgroundingの頑健性向上も示唆 - 詳細な実験設定・比較対象・被験者数などは要旨からは不明

5. 議論はある?

- 一方向L2Aの限界(文脈理解の浅さ、汎化・説明能力の制約)を動機として議論 - 行動と説明の双方向学習がよりholisticなgroundingに不可欠と主張 - 自己改善サイクルによる人手ラベル不要のデータ拡張の有効性を議論 - 限界・失敗事例・計算コスト・実世界での安全性などは要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明示されていない - 関連手法として以下が候補 - 大規模VLMを用いたL2A(language-to-action)政策学習(例: RT-2, OpenVLAなどのVLAモデル) - 行動説明・言語化(A2L)に関する研究 - 自己教師あり学習・active learning・データ拡張による自己改善手法 - 詳細は要旨からは不明なため、原論文の参考文献を確認すべき

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Youngjin Hong, Houjian Yu, Mingen Li, Changhyun Choi

分類: cs.RO, cs.AI

原文アブストラクト

Learning generalizable policies for robotic manipulation increasingly relies on large-scale models that map language instructions to actions (L2A). However, this one-way paradigm often produces policies that execute tasks without deeper contextual understanding, limiting their ability to generalize or explain their behavior. We argue that the complementary skill of mapping actions back to language (A2L) is essential for developing more holistic grounding. An agent capable of both acting and explaining its actions can form richer internal representations and unlock new paradigms for self-supervised learning. We introduce LACY (Language-Action Cycle), a unified framework that learns such bidirectional mappings within a single vision-language model. LACY is jointly trained on three synergistic tasks: generating parameterized actions from language (L2A), explaining observed actions in language (A2L), and verifying semantic consistency between two language descriptions (L2C). This enables a self-improving cycle that autonomously generates and filters new training data through an active augmentation strategy targeting low-confidence cases, thereby improving the model without additional human labels. Experiments on pick-and-place tasks in both simulation and the real world show that LACY improves task success rates by 56.46% on average and yields more robust language-action grounding for robotic manipulation. Project page: https://vla2026.github.io/LACY/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI