日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

テレオペレーションarXiv:2507.04791

言語誘導型衝突回避を備えた安全な両腕テレオペレーション

Safe Bimanual Teleoperation with Language-Guided Collision Avoidance

シェア:XThreadsFacebookLINEはてブBluesky

VRコントローラと音声指示を組み合わせ、話しかけた物体を3D障害物メッシュ化して全身制御で衝突を防ぐ両腕テレオペレーションシステムを提案した。

詳しい要約

1. どんなもの?

- 本論文は、 clutter 環境下での bimanual manipulation の teleoperation において、 operator の空間認識の限界や距離推定の困難さを補助する安全な teleoperation system を提案している。 - HTC Vive controllers を用いた immersive VR control と、音声コマンドによる collision avoidance を組み合わせ、 operator が直感的に bimanual mobile manipulator を操作できるようにする。 - 音声コマンド(例: 'avoid the yellow tool')により visual grounding と segmentation をトリガーし、 3D obstacle meshes を構築、 whole-body controller に統合して衝突を能動的に防止する。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごいかは要旨からは不明。 - ただし、従来の teleoperation では operator の空間認識の制約により clutter 環境での衝突回避が困難であったのに対し、本システムは音声指示に基づく障害物の 3D モデル化と whole-body control を組み合わせることで、 operator の負担を軽減しつつ安全性を向上させる点が特徴として示唆される。

3. 技術・手法の肝は?

- 技術の肝は、 immersive VR control による直感的な bimanual mobile manipulator の操作と、 voice-activated collision avoidance の統合にある。 - 音声コマンドが visual grounding と segmentation をトリガーし、対象物体の 3D obstacle meshes を生成する。 - 生成された meshes を whole-body controller に組み込み、 teleoperation 中に衝突を actively に防止する。

4. どうやって有効だと検証した?

- 静的で clutter なシーンでの実験により、本システムがタスク効率を損なうことなく運用安全性を大幅に向上させることを示した。 - 具体的な評価指標や被験者数などは要旨からは不明。

5. 議論はある?

- 議論の詳細は要旨からは不明。 - 想定される議論としては、音声コマンドの認識精度や visual grounding のロバスト性、動的環境への適用可能性、 operator の主観的負担などが考えられるが、これらは要旨では触れられていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、 visual grounding、 segmentation、 whole-body control、 immersive VR teleoperation に関する論文が次に読むべき候補として挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dionis Totsila, Clemente Donoso, Enrico Mingo Hoffman, Jean-Baptiste Mouret, Serena Ivaldi

分類: cs.RO

原文アブストラクト

Teleoperating precise bimanual manipulations in cluttered environments is challenging for operators, who often struggle with limited spatial perception and difficulty estimating distances between target objects, the robot's body, obstacles, and the surrounding environment. To address these challenges, local robot perception and control should assist the operator during teleoperation. In this work, we introduce a safe teleoperation system that enhances operator control by preventing collisions in cluttered environments through the combination of immersive VR control and voice-activated collision avoidance. Using HTC Vive controllers, operators directly control a bimanual mobile manipulator, while spoken commands such as "avoid the yellow tool" trigger visual grounding and segmentation to build 3D obstacle meshes. These meshes are integrated into a whole-body controller to actively prevent collisions during teleoperation. Experiments in static, cluttered scenes demonstrate that our system significantly improves operational safety without compromising task efficiency.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI