日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2607.09218

TACTIC: 触覚と視覚に基づく接触中心制御による全身マニピュレーション

TACTIC: Tactile and Vision Conditioned Contact-Centric Control for Whole-Arm Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

全身マニピュレーションのための、RGB-D、分散触覚、2D近接表現を組み合わせた接触中心のハイブリッド予測モデルと、接触ヤコビアンを用いたサンプリングベースMPCを提案する。

詳しい要約

1. どんなもの?

- 全腕マニピュレーション(whole-arm manipulation)のためのreceding-horizon controller『TACTIC』を提案。 - 接触が複数リンクに分散し、形成・滑り・離脱する状況を扱う。 - RGB-D、分散触覚センシング、2D proximity表現を統合したcontact-centric hybrid predictive modelを用いる。 - 学習ベースのlatent dynamics modelと解析的kinematicsをcontact Jacobiansで結合。 - sampling-based MPC plannerで未来の接触配置と相互作用力を予測し制御する。

2. 先行研究と比べてどこがすごい?

- 従来の学習ベースマニピュレーションは、腕の姿勢が運動と接触力を強く結合させる点、接触状態が遮蔽下で部分的にしか観測されない点を暗黙に仮定していた。 - 純粋な学習ロールアウトは分布シフト下で物理的に不整合になりやすく、多リンク接触配置がデータ上疎である問題があった。 - TACTICは触覚・視覚・近接表現を統合し、解析的kinematicsと学習モデルを組み合わせることでこれらを緩和する。 - シミュレーションでstate-of-the-artのmodel-basedおよびmodel-free手法を一貫して上回ると報告。

3. 技術・手法の肝は?

- contact-centric hybrid predictive model: RGB-D、分散触覚、compact 2D proximityを入力とする。 - 学習されたaction-conditioned latent dynamics modelと解析的kinematicsをcontact Jacobiansで結合。 - 未来の接触配置と相互作用力のロールアウトを生成。 - sampling-based MPC plannerに統合し、contact-aware action samplingを実施。 - contact Jacobianベースの投影でサンプル行動列を力変調方向へ誘導。 - 予測proximityと相互作用力上の目的関数でタスク進捗と全腕力調整をトレードオフ。

4. どうやって有効だと検証した?

- シミュレーションでstate-of-the-artのmodel-basedおよびmodel-free手法と比較。 - 各設計選択の寄与を分離するablationを実施。 - TACTICが他手法を一貫して上回ることを確認。 - 実世界では分散触覚センシングを備えたロボットで3つの全腕マニピュレーションタスクを実証。 - タスクは多接触軌道を要するmanikinの反転・再配置、3D dynamic mazeでのgoal-reaching。

5. 議論はある?

- 要旨からは、限界や失敗事例、計算コスト、実世界での定量比較に関する議論は不明。 - 提案手法の有効性はシミュレーションと実世界デモで示されるが、詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究名は不明。 - 関連手法としてmodel-based MPC、model-free learning、contact Jacobiansを用いた接触制御、分散触覚センシング、whole-arm manipulationの研究が挙げられる。 - 同分野の定番としてsampling-based MPCやlatent dynamics modelsの文献を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rishabh Madan, Angchen Xie, Samantha Saak, Andres Blanco, Dohyeok Lee, Sarah Grace Brown, Yunting Yan, Mark Zolotas, Jose Barreiros, Tapomayukh Bhattacharjee

分類: cs.RO, cs.AI

原文アブストラクト

Whole-arm manipulation involves direct contact with the environment while the robot completes a task by distributing contact across multiple links as contacts form, slide, and break. This setting breaks common implicit assumptions in many learning-based manipulation pipelines: arm configuration tightly couples motion and contact forces, contact state is partially observed under occlusion, and purely learned rollouts can become physically inconsistent under distribution shift because many multi-link contact configurations are sparsely represented in the data. To address this, we propose TACTIC (Tactile and Vision Conditioned Contact-Centric Control), a receding-horizon controller for whole-arm manipulation. TACTIC uses a contact-centric hybrid predictive model that combines RGB-D, distributed tactile sensing, and a compact 2D proximity representation. The model couples a learned, action-conditioned latent dynamics model with analytical kinematics through contact Jacobians, enabling rollouts of future contact configurations and interaction forces. TACTIC integrates these rollouts into a sampling-based MPC planner with contact-aware action sampling: contact Jacobian-based projections steer sampled action sequences toward force-modulating directions, and objectives defined over predicted proximity and interaction forces trade task progress against whole-arm force regulation. We evaluate TACTIC in simulation against state-of-the-art model-based and model-free methods, and perform ablations that isolate the contribution of each design choice. TACTIC consistently outperforms other methods. We further demonstrate real-world performance on a robot with distributed tactile sensing across three whole-arm manipulation tasks that require multi-contact trajectories: turning over and repositioning a manikin, and goal-reaching in a 3D dynamic maze. Website: https://emprise.cs.cornell.edu/tactic

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI