日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.25481

LILAC: 言語条件付きオブジェクト中心オプティカルフローによるオープンループ軌道生成

LILAC: Language-Conditioned Object-Centric Optical Flow for Open-Loop Trajectory Generation

シェア:XThreadsFacebookLINEはてブBluesky

人間やWeb動画から学習可能なフローベースの軌道生成を用いて、言語指示に従った物体操作を実現する手法を提案。指示とフローを整合させる損失関数とクロスモーダルアダプタを導入し、既存手法より高品質なフロー生成と高いタスク成功率を達成した。

詳しい要約

1. どんなもの?

- 言語条件付きロボットマニピュレーションのためのflow-based trajectory generation手法 - 人間やweb動画の物体操作から学習可能で、embodiment-specific dataを最小限に抑える - 操作前画像と自然言語指示から物体中心の2D optical flowを生成し、6-DoFマニピュレータ軌道に変換する - flow-based Vision-Language-Action model (VLA)であるLILACを提案

2. 先行研究と比べてどこがすごい?

- 既存手法と比較して、生成flow品質が複数のベンチマークで優れる - 自由形式の指示を用いた物理物体操作実験で、タスク成功率が既存手法より高い - 人間やweb動画からの学習を可能にし、embodiment-specific dataの必要性を低減 - 指示とflowの適切なアラインメントを実現する点が先行研究と異なる

3. 技術・手法の肝は?

- flow-based Language Instruction-guided open-Loop ACtion generator (LILAC)を提案 - 2つの主要コンポーネント: Semantic Alignment LossとPrompt-Conditioned Cross-Modal Adapter - Semantic Alignment Lossは言語条件付けを強化し、指示に沿ったoptical flowを生成 - Prompt-Conditioned Cross-Modal Adapterは学習されたvisual promptsを画像とテキスト特徴に整合させ、flow生成のための豊富な手がかりを提供

4. どうやって有効だと検証した?

- 複数のベンチマークで生成flow品質を評価し、既存手法を上回る性能を確認 - 自由形式の指示を用いた物理物体操作実験を実施し、タスク成功率で既存手法より優れることを示した - 詳細な実験設定や評価指標は要旨からは不明

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の関連手法として、Vision-Language-Action models (VLA)やflow-based trajectory generation、optical flowを用いたロボットマニピュレーションの研究が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Motonari Kambara, Koki Seno, Tomoya Kaichi, Yanan Wang, Komei Sugiura

分類: cs.RO

原文アブストラクト

We address language-conditioned robotic manipulation using flow-based trajectory generation, which enables training on human and web videos of object manipulation and requires only minimal embodiment-specific data. This task is challenging, as object trajectory generation from pre-manipulation images and natural language instructions requires appropriate instruction-flow alignment. To tackle this challenge, we propose the flow-based Language Instruction-guided open-Loop ACtion generator (LILAC). This flow-based Vision-Language-Action model (VLA) generates object-centric 2D optical flow from an RGB image and a natural language instruction, and converts the flow into a 6-DoF manipulator trajectory. LILAC incorporates two key components: Semantic Alignment Loss, which strengthens language conditioning to generate instruction-aligned optical flow, and Prompt-Conditioned Cross-Modal Adapter, which aligns learned visual prompts with image and text features to provide rich cues for flow generation. Experimentally, our method outperformed existing approaches in generated flow quality across multiple benchmarks. Furthermore, in physical object manipulation experiments using free-form instructions, LILAC demonstrated a superior task success rate compared to existing methods. The project page is available at https://lilac-75srg.kinsta.page/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI