日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

テレオペレーションarXiv:2607.07430

VRとLLM支援ヒューマノイドによる没入型社会的インタラクション

Immersive Social Interaction with VR and LLM-Assisted Humanoids

シェア:XThreadsFacebookLINEはてブBluesky

Apple Vision ProとLLMを活用し、音声による移動指示とVRによる遠隔操作でヒューマノイドロボットを直感的に操作する没入型テレオペレーションシステムを提案した。

詳しい要約

1. どんなもの?

- VRとLLMを統合した没入型テレオペレーションフレームワーク - 音声による移動制御、VRによる操作、双方向社会的インタラクションを実現 - Apple Vision Proを用いて操作者が一人称視点の視覚フィードバックを得る - 自然言語で移動コマンドを指示し、手首と指のトラッキングで腕と器用な手を操作 - Unitree H1ヒューマノイドに適用し、操作と社会的タスクで評価

2. 先行研究と比べてどこがすごい?

- 従来のテレオペレーションは身体的負担の大きいモーショントラッキングや認知負荷の高い低レベル制御を要求 - 本手法は音声制御移動とVR操作を組み合わせ、初心者でも短時間で操作可能 - 双方向社会的インタラクションを統合している点が新しい - マルチモーダルデータ記録により将来の模倣学習と自律性を支援

3. 技術・手法の肝は?

- Apple Vision Proによる一人称視覚フィードバック - LLM支援音声制御モジュールが音声指示を高レベル移動コマンドに変換 - 操作モジュールが人間の手の動きを逆運動学とPD制御でロボットに再ターゲティング - 手首と指のトラッキングで腕と器用な手をテレオペレーション - 一人称RGB観察、音声/テキストコマンド、関節状態、手の動き、視線信号を含むマルチモーダルデータを記録

4. どうやって有効だと検証した?

- Unitree H1ヒューマノイドに器用な手を装着して操作および社会的インタラクションタスクで評価 - 初心者が短時間の慣れの後、物体操作で80%の成功率、社会的キューブパスタスクで70%の成功率を達成 - 結果は没入型言語支援テレオペレーションがアクセシブルなインターフェースとして有望であることを示す

5. 議論はある?

- 没入型言語支援テレオペレーションがヒューマノイドインタラクション、遠隔支援、マルチモーダルデータ収集のためのアクセシブルなインターフェースとしての可能性を実証 - 具体的な限界や課題については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の定番として、テレオペレーション、模倣学習、ヒューマノイド制御、VRインターフェースに関する研究が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Niraj Pudasaini, Geeta Chandra Raju Bethala, Pranav Doma, Anthony Tzes, Yi Fang

分類: cs.RO, cs.SY, eess.SY

原文アブストラクト

Humanoid robots can extend human presence to remote, constrained, or hazardous environments, but existing teleoperation interfaces often require physically demanding motion tracking or cognitively demanding low-level control. This paper presents an immersive teleoperation framework that integrates voice-controlled locomotion, VR-based manipulation, and bidirectional social interaction for whole-body humanoid control. Using Apple Vision Pro, the operator receives egocentric visual feedback, issues natural-language locomotion commands, and teleoperates the robot's arms and dexterous hands through wrist and finger tracking. An LLM-assisted voice-control module converts spoken instructions into high-level locomotion commands, while the manipulation module retargets human hand motions to the robot through inverse kinematics and PD control. The system also records multimodal data, including egocentric RGB observations, voice/text commands, joint states, hand motions, and eye-gaze signals, supporting future imitation learning and autonomy. We evaluate the framework on a Unitree H1 humanoid equipped with dexterous hands in manipulation and social interaction tasks. Results show that novice users can successfully operate the system after brief familiarization, achieving 80\% success in object manipulation and 70\% success in a social cube-passing task. These results demonstrate the potential of immersive, language-assisted teleoperation as an accessible interface for humanoid interaction, remote assistance, and multimodal data collection.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI