日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.34297

TLC-DiT: タスク整合型局所視覚条件付けによる堅牢なマルチタスクロボットマニピュレーション

TLC-DiT: Task-Aligned Local Visual Conditioning for Robust Multitask Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

拡散トランスフォーマーポリシーにタスク誘導の局所視覚特徴マップを明示的に追加し、LIBEROや実機双腕タスクで成功率と視覚変化への堅牢性を向上させた。

詳しい要約

1. どんなもの?

- 言語条件付きロボット政策のマルチタスク操作において、タスク関連の局所視覚証拠が視覚バックボーンや注意層に隠れがちな問題に対処。 - TLC-DiTは、Multitask Diffusion Transformer (DiT) 政策のプラグイン拡張で、拡散目的や行動生成プロセスを変えずに、明示的なタスク誘導局所視覚特徴マップを追加。 - 各カメラビューで、凍結DINOv2パッチ特徴をCLIPタスク埋め込みでFiLM変調し、軽量CoordConv CNNアダプタで滑らかな空間マップに洗練。 - 元のグローバル画像、言語、関節状態、タイムステップ条件と連結。

2. 先行研究と比べてどこがすごい?

- 従来の言語条件付き政策ではタスク関連局所視覚証拠が暗黙的で検査困難かつ視覚変化に脆弱。 - TLC-DiTは明示的なタスク整合局所視覚チャネルを追加し、検査可能性と堅牢性を向上。 - LIBEROで平均成功率93.5%(Multitask DiT 86.5%、SmolVLA 79.25%)。 - LIBERO-plusで総成功率54.07%から57.24%に改善、カメラ・背景・センサーノイズ変化でより大きな利得。 - 実世界バイマニュアルタスクでTeabag Putting完了率44%から89%に向上、Match Box Opening性能は同等維持。

3. 技術・手法の肝は?

- Multitask Diffusion Transformer (DiT) 政策のプラグイン拡張。 - 各カメラビューで凍結DINOv2パッチ特徴をCLIPタスク埋め込みでFiLM変調。 - 軽量CoordConv CNNアダプタで滑らかな空間マップに洗練。 - 元のグローバル画像、言語、関節状態、タイムステップ条件と連結。 - 拡散目的や行動生成プロセスは変更なし。

4. どうやって有効だと検証した?

- LIBEROベンチマークで平均成功率93.5%を達成。 - LIBERO-plusで総成功率54.07%から57.24%に改善、カメラ・背景・センサーノイズ変化下でより大きな利得。 - 実世界バイマニュアルタスクでTeabag Putting完了率44%から89%に向上、Match Box Opening性能は同等維持。 - 特徴マップ可視化により、モデルがタスク関連領域に注目することを確認。

5. 議論はある?

- 特徴マップ可視化が視覚証拠を直接検査する方法を提供。 - 視覚変化に対する堅牢性の向上が示唆される。 - 要旨からは、計算コストや他のタスクへの一般化に関する議論は不明。

6. 次に読むべき論文は?

- Multitask Diffusion Transformer (DiT) 政策 - SmolVLA - DINOv2 - CLIP - FiLM - CoordConv - LIBERO - LIBERO-plus

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xianbo Cai, Hideyuki Ichiwara, Zihang Wang, Yijun Lu, Tetsuya Ogata

分類: cs.RO

原文アブストラクト

Language-conditioned robot policies have made clear progress in multitask manipulation, but task-relevant local visual evidence usually stays hidden inside a visual backbone or attention layers. This leaves the policy difficult to inspect and fragile under visual change, two symptoms of a missing explicit, task-aligned local visual channel. We present TLC-DiT, a plug-in extension of the Multitask Diffusion Transformer (DiT) policy that adds explicit task-guided local visual feature maps without changing the diffusion objective or the action-generation process. For each camera view, frozen DINOv2 patch features are modulated by the CLIP task embedding through FiLM and refined by a lightweight CoordConv CNN adapter into smooth spatial maps, which are concatenated with the original global image, language, joint-state, and timestep conditions. On LIBERO, TLC-DiT reaches a 93.5% average success rate, compared with 86.5% for Multitask DiT and 79.25% for SmolVLA. On LIBERO-plus, the total success rate improves from 54.07% to 57.24%, with larger gains under camera, background, and sensor-noise changes. In real-world bimanual tasks, TLC-DiT raises Teabag Putting completion from 44% to 89% while maintaining comparable Match Box Opening performance. Feature-map visualizations confirm that the model attends to task-relevant regions across views and perturbations, providing a direct way to inspect the visual evidence.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI