日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

遠隔操作arXiv:2602.09888

TriPilot-FF: 力覚フィードバックを備えた協調型全身遠隔操作システム

TriPilot-FF: Coordinated Whole-Body Teleoperation with Force Feedback

シェア:XThreadsFacebookLINEはてブBluesky

移動マニピュレータの全身遠隔操作のため、足踏みペダルとLiDARによるペダル力覚提示、両腕リーダーフォロワ、腕の力覚反射を統合したシステムを開発し、長期的な操作や精密な移動を支援することを示した。

詳しい要約

1. どんなもの?

- 車輪付き双腕移動マニピュレータの全身テレオペレーションシステム - 名前は TriPilot-FF、オープンソースで公開 - 足操作ペダルと lidar 駆動のペダルハプティクスを導入 - 上半身は双腕リーダー・フォロワー方式 - 低コストのベース搭載 lidar のみを使用 - 障害物近接信号から抵抗感を生成し衝突回避行動を誘導 - 腕側の力覚フィードバックで接触認識を支援 - 双腕可操作性のリアルタイム力・視覚ガイダンスを提供 - 長時間・精密な移動ベース操作を要するタスクで有効性を実証 - テレオペフィードバックを ACT ポリシーに組み込み性能向上を確認 - ペダル設計・ソフトウェアスタック・実機評価を公開

2. 先行研究と比べてどこがすごい?

- 既存インターフェースは VR コントローラやジョイスティックなど手中心 - 連続的なベース制御のための足操作チャネルは未開拓 - TriPilot-FF は足操作ペダルと lidar 駆動ハプティクスを統合 - 明示的な衝突回避コントローラなしで衝突回避行動を誘導 - 腕側力覚フィードバックと双腕可操作性ガイダンスを同時提供 - 低コストなベース搭載 lidar のみで実現 - テレオペフィードバックを ACT ポリシーに組み込み性能改善 - ペダル設計・ソフトウェアスタック・実機評価をオープンソース化

3. 技術・手法の肝は?

- カスタム双腕移動マニピュレータ用の全身テレオペシステム - 足操作ペダルに lidar 駆動のペダルハプティクスを実装 - 指示方向の障害物近接信号から抵抗感を生成 - 抵抗感によりオペレータの指令を衝突回避行動へ誘導 - 明示的な衝突回避コントローラは使用しない - 上半身は双腕リーダー・フォロワー方式で操作 - 腕側の力覚フィードバックで接触認識を支援 - 双腕可操作性のリアルタイム力・視覚ガイダンスを提示 - 移動ベース再配置を促しリーチを改善 - テレオペフィードバック信号を ACT ポリシーに組み込み

4. どうやって有効だと検証した?

- 長時間ホライズンのタスクで有効性を実証 - 精密な移動ベース操作と協調を要するタスクで評価 - 実世界評価を双腕車輪付きプラットフォームで実施 - テレオペフィードバックを ACT ポリシーに組み込み性能向上を確認 - 追加情報がある場合の性能改善を実証 - ペダル設計・ソフトウェアスタック・実機評価を公開 - 具体的な評価指標や被験者数は要旨からは不明

5. 議論はある?

- 足操作チャネルと lidar 駆動ハプティクスの有効性を議論 - 明示的な衝突回避コントローラなしでの衝突回避行動誘導を主張 - 腕側力覚フィードバックと双腕可操作性ガイダンスの利点を提示 - テレオペフィードバックを ACT ポリシーに組み込む利点を議論 - 長時間ホライズンでの「co-pilot」としての能力を主張 - 限界や失敗事例、ユーザビリティの詳細は要旨からは不明 - 定量的な比較や統計的有意性は要旨からは不明

6. 次に読むべき論文は?

- Action Chunking with Transformers (ACT) ポリシー - VR コントローラやジョイスティックを用いた既存テレオペ研究 - lidar 駆動ハプティクスやペダル操作に関する研究 - 双腕移動マニピュレータの全身テレオペレーション研究 - 力覚フィードバックを用いたテレオペレーション研究 - 可操作性ガイダンスに関する研究 - 同分野の定番として mobile manipulator のテレオペレーション全般

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zihao Li, Yanan Zhou, Ranpeng Qiu, Hangyu Wu, Guoqiang Ren, Weiming Zhi

分類: cs.RO

原文アブストラクト

Mobile manipulators broaden the operational envelope for robot manipulation. However, the whole-body teleoperation of such robots remains a problem: operators must coordinate a wheeled base and two arms while reasoning about obstacles and contact. Existing interfaces are predominantly hand-centric (e.g., VR controllers and joysticks), leaving foot-operated channels underexplored for continuous base control. We present TriPilot-FF, an open-source whole-body teleoperation system for a custom bimanual mobile manipulator that introduces a foot-operated pedal with lidar-driven pedal haptics, coupled with upper-body bimanual leader-follower teleoperation. Using only a low-cost base-mounted lidar, TriPilot-FF renders a resistive pedal cue from proximity-to-obstacle signals in the commanded direction, shaping operator commands toward collision-averse behaviour without an explicit collision-avoidance controller. The system also supports arm-side force reflection for contact awareness and provides real-time force and visual guidance of bimanual manipulability to prompt mobile base repositioning, thereby improving reach. We demonstrate the capability of TriPilot-FF to effectively ``co-pilot'' the human operator over long time-horizons and tasks requiring precise mobile base movement and coordination. Finally, we incorporate teleoperation feedback signals into an Action Chunking with Transformers (ACT) policy and demonstrate improved performance when the additional information is available. We release the pedal device design, full software stack, and conduct extensive real-world evaluations on a bimanual wheeled platform. The project page of TriPilot-FF is http://bit.ly/46H3ZJT.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI