日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.18865

Bi-VLA: 視覚言語融合による双方向制御ベースの模倣学習

Bi-VLA: Bilateral Control-Based Imitation Learning via Vision-Language Fusion for Action Generation

シェア:XThreadsFacebookLINEはてブBluesky

双方向制御による模倣学習に視覚と言語指示を融合させ、単一モデルで複数タスクを実行できるようにしたフレームワークを提案し、実機実験で成功率の向上を示した。

詳しい要約

1. どんなもの?

- 提案: Bilateral Control-Based Imitation Learning via Vision-Language Fusion for Action Generation (Bi-VLA) - bilateral control ベースの imitation learning を単一モデルで複数タスクに拡張する枠組み - 入力: leader-follower bilateral control 由来の joint angle・velocity・torque、視覚特徴、自然言語 instruction - 目的: 従来のタスク特化型 bilateral control 手法の汎用性制約を緩和し、vision-language 融合で行動生成を行う

2. 先行研究と比べてどこがすごい?

- 従来の bilateral control 手法は joint angle・velocity・torque・vision を用いた精密操作が可能だが、タスクごとに専用モデルが必要で汎用性が限定 - Bi-VLA は単一モデルで複数タスクを扱い、従来の bilateral control-based imitation learning と比較してタスク成功率を改善 - 視覚と言語の組み合わせを解釈できることを実機で示し、prior bilateral 手法の single-task limitation に対処

3. 技術・手法の肝は?

- leader-follower bilateral control から joint angle・velocity・torque を取得 - 視覚特徴と言語 instruction を SigLIP で処理し、FiLM-based fusion により融合 - 融合した vision-language 情報と制御データを用いて行動生成を行う imitation learning フレームワーク

4. どうやって有効だと検証した?

- 実機ロボット実験で2種類のタスクを検証 - 補助的な言語 cue を必要とするタスク - 視覚のみで判別可能なタスク - Bi-VLA が vision-language の組み合わせを解釈し、従来の bilateral control-based imitation learning よりタスク成功率を改善することを確認

5. 議論はある?

- 従来 bilateral 手法の single-task limitation を緩和し、vision と language の組み合わせが汎用性を高める実証的証拠を提示 - 実世界タスクでの有効性を示す一方、要旨からは失敗要因・限界・タスク数や被覆範囲の詳細は不明 - より広いタスク群や言語指示の多様性に対する議論は要旨からは不明

6. 次に読むべき論文は?

- 比較対象: conventional bilateral control-based imitation learning - 関連手法: bilateral control、imitation learning、SigLIP、FiLM-based fusion - 同分野の定番として vision-language-action モデルや robot imitation learning の関連研究を次に読む候補として挙げる(要旨に個別論文の参照はなし)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Masato Kobayashi, Thanpimon Buamanee

分類: cs.RO, cs.LG

原文アブストラクト

We propose Bilateral Control-Based Imitation Learning via Vision-Language Fusion for Action Generation (Bi-VLA), a novel framework that extends bilateral control-based imitation learning to handle more than one task within a single model. Conventional bilateral control methods exploit joint angle, velocity, torque, and vision for precise manipulation but require task-specific models, limiting their generality. Bi-VLA overcomes this limitation by utilizing robot joint angle, velocity, and torque data from leader-follower bilateral control with visual features and natural language instructions through SigLIP and FiLM-based fusion. We validated Bi-VLA on two task types: one requiring supplementary language cues and another distinguishable solely by vision. Real-robot experiments showed that Bi-VLA successfully interprets vision-language combinations and improves task success rates compared to conventional bilateral control-based imitation learning. Our Bi-VLA addresses the single-task limitation of prior bilateral approaches and provides empirical evidence that combining vision and language significantly enhances versatility. Experimental results validate the effectiveness of Bi-VLA in real-world tasks. For additional material, please visit the website: https://mertcookimg.github.io/bi-vla/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI