日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

遠隔操作/意図予測arXiv:2606.08341

不確実性を考慮した人間からロボットへの組立遠隔操作における意図予測

Uncertainty-Aware Intention Prediction for Human-to-Robot Assembly Teleoperation

シェア:XThreadsFacebookLINEはてブBluesky

人間の手のデモデータで事前学習し、限られたロボット遠隔操作データで微調整する階層的転移学習と、統計的保証付きのコンフォーマル予測、VLMによるセグメント修正を組み合わせ、組立遠隔操作中の行動認識・意図予測・誤り検出を高精度化した。

詳しい要約

1. どんなもの?

- 人間からロボットへの組立テレオペレーションにおける意図予測フレームワーク - 不確実性を考慮し、行動認識・時間的分割・意図予測・ミス検出を支援 - 階層的転移学習、conformal prediction、VLM-guided segment correctionを組み合わせる - 22行動クラスのロボット組立デモで評価

2. 先行研究と比べてどこがすごい?

- ロボットテレオペレーションのデモは高コストでハードウェア制約があるが、人間のデモは収集が容易で時間構造が豊富 - 人間の手のデモでMS-TCN++を事前学習し、限られたロボットデータで微調整することで、ロボットテストセットのEditスコアを70.50から80.70に改善(ロボットデモ16件のみ) - 従来の手法と比べて、少ないロボットデータで高い性能を実現

3. 技術・手法の肝は?

- 階層的転移学習:MS-TCN++を人間の手のデモで事前学習し、限られたロボットテレオペレーションデータで微調整。低レベル行動と高レベルタスク意図を捉える - Conformal predictionモジュール:フレームレベルの予測セットを提供し、統計的カバレッジ保証付きで信頼性の高い不確実性定量化と早期意図推定を実現 - VLM-guided segment correction:低信頼度または時間的に不確実なセグメントを視覚的・時間的コンテキストを用いて選択的にレビュー

4. どうやって有効だと検証した?

- 22行動クラスのロボット組立デモで実験 - 人間からロボットへの微調整により、ロボットテストセットのEditスコアが70.50から80.70に向上(ロボットデモ16件のみ使用) - Edit-safe VLM correctionにより、フレーム精度が45.21%から46.42%に向上し、F1@25とF1@50が増加、Editスコアは維持

5. 議論はある?

- 人間のデモがスケーラブルな事前学習データを提供し、堅牢で不確実性を考慮したロボット行動分割に有効であることを示す - 限られたロボットデータでも高い性能を達成 - 要旨からは、他のタスクや環境への一般化可能性や計算コストに関する議論は不明

6. 次に読むべき論文は?

- MS-TCN++(階層的転移学習のベースモデル) - Conformal prediction(不確実性定量化手法) - VLM(視覚言語モデル)を用いたセグメント補正 - 関連手法として、行動分割や意図予測のためのTransformerベースの手法(例:ASFormer, DiffAct)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fnu Heman, Yixuan Wang, Kolin Xu, Conner Wallace, John Dang, Akhil Joshi, Jun Sheng, Pinhas Ben-Tzvi, Mingyu Cai

分類: cs.RO

原文アブストラクト

In assisted teleoperation for human-robot collaboration, accurate intention prediction is critical for enabling timely and reliable robotic assistance during long-horizon manipulation and assembly tasks. These systems require continuous understanding of user behavior to recognize actions, anticipate intentions, and detect mistakes in real time. However, robot teleoperation demonstrations are costly and hardware-limited, whereas human demonstrations are easier to collect and provide rich temporal structure. To address this challenge, we propose an uncertainty-aware human-to-robot intention prediction framework that combines: (1) hierarchical transfer learning, where MS-TCN++ is pretrained on human hand demonstrations and fine-tuned on limited robot teleoperation data to capture low-level actions and high-level task intentions; (2) a conformal prediction module that provides frame-level prediction sets with statistical coverage guarantees for reliable uncertainty quantification and early intention estimation; and (3) VLM-guided segment correction, which selectively reviews low-confidence or temporally uncertain segments using visual and temporal context. The framework supports action recognition, temporal segmentation, intention anticipation, and mistake detection for assisted teleoperation. Experiments on robot assembly demonstrations with 22 action classes show that human-to-robot fine-tuning improves the robot test-set Edit score from 70.50 to 80.70 using only 16 robot demonstrations. Edit-safe VLM correction further improves frame accuracy from 45.21% to 46.42% and increases F1@25 and F1@50 while preserving the Edit score. These results show that human demonstrations provide scalable pretraining data for robust, uncertainty-aware robot action segmentation. Code and data: project website.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI