日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2504.01301

Bi-LAT: 双方向制御と言語指示を統合した模倣学習による力加減の調整

Bi-LAT: Bilateral Control-Based Imitation Learning via Natural Language and Action Chunking with Transformers

シェア:XThreadsFacebookLINEはてブBluesky

言語指示(「やさしく掴む」など)と双方向遠隔操作の力覚データをTransformerで統合し、ロボットが指示に応じて把持力やねじり力を調整できる模倣学習フレームワークを提案した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションにおける力の精密な調整を目的とした模倣学習フレームワーク Bi-LAT の提案 - bilateral control と自然言語処理を統合し、leader-follower 遠隔操作の関節位置・速度・トルクデータを利用 - 視覚情報と言語指示(例: "softly grasp the cup", "strongly twist the sponge")を統合し、多modal Transformer ベースモデルで力要件を学習 - 片手の cup-stacking と両手の sponge-twisting の2タスクで実証

2. 先行研究と比べてどこがすごい?

- 従来の模倣学習に対し、bilateral control 由来の力情報と言語指示を組み合わせる点が新しい - 言語で指定された力の強弱を実タスクで再現できることを示した - 言語エンコーダ比較で SigLIP が有効だったと報告 - 具体的な先行研究との定量比較は要旨からは不明

3. 技術・手法の肝は?

- leader-follower 遠隔操作から関節位置・速度・トルクを取得 - 視覚と言語の cue を多modal Transformer ベースモデルで符号化 - 言語指示に応じて印加力を動的に調整する模倣学習 - Action Chunking with Transformers を活用(タイトルより) - 言語エンコーダとして SigLIP を含む複数候補を検討

4. どうやって有効だと検証した?

- 片手 cup-stacking: 言語コマンドに基づく把持力の調整を評価 - 両手 sponge-twisting: 協調的な力制御が必要なタスクで評価 - 実験結果として指示された力レベルを効果的に再現 - 言語エンコーダ比較で SigLIP 使用時に特に有効と報告

5. 議論はある?

- 自然言語 cue を模倣学習に統合する可能性と、より直感的で適応的な human-robot interaction への道筋を示唆 - 言語エンコーダの選択が性能に影響する点を議論 - 限界や失敗事例、一般化性に関する詳細は要旨からは不明

6. 次に読むべき論文は?

- Action Chunking with Transformers (ACT) - SigLIP - bilateral control を用いた模倣学習の関連研究 - 多modal Transformer による言語条件付きロボット模倣学習の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Takumi Kobayashi, Masato Kobayashi, Thanpimon Buamanee, Yuki Uranishi

分類: cs.RO, cs.AI

原文アブストラクト

We present Bi-LAT, a novel imitation learning framework that unifies bilateral control with natural language processing to achieve precise force modulation in robotic manipulation. Bi-LAT leverages joint position, velocity, and torque data from leader-follower teleoperation while also integrating visual and linguistic cues to dynamically adjust applied force. By encoding human instructions such as "softly grasp the cup" or "strongly twist the sponge" through a multimodal Transformer-based model, Bi-LAT learns to distinguish nuanced force requirements in real-world tasks. We demonstrate Bi-LAT's performance in (1) unimanual cup-stacking scenario where the robot accurately modulates grasp force based on language commands, and (2) bimanual sponge-twisting task that requires coordinated force control. Experimental results show that Bi-LAT effectively reproduces the instructed force levels, particularly when incorporating SigLIP among tested language encoders. Our findings demonstrate the potential of integrating natural language cues into imitation learning, paving the way for more intuitive and adaptive human-robot interaction. For additional material, please visit: https://mertcookimg.github.io/bi-lat/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI