日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

人間からロボットへのスキル転移arXiv:2602.10015

RoboSubtaskNet: 実環境における人間からロボットへのスキル転移のための時間的サブタスク分割

RoboSubtaskNet: Temporal Sub-task Segmentation for Human-to-Robot Skill Transfer in Real-World Environments

シェア:XThreadsFacebookLINEはてブBluesky

長尺動画からロボットが実行可能なサブタスクを時間的に分割・分類する手法を提案し、医療・産業デモ用データセットで評価した。

詳しい要約

1. どんなもの?

- 長尺・未トリミング動画から細粒度のsub-task区間を時間的に特定・分類するRoboSubtaskNetを提案。 - 人間の実演をロボット実行可能なsub-taskラベルへ変換し、human-to-robot skill transferを狙う。 - attention-enhanced I3D features (RGB + optical flow) と Fibonacci dilation schedule を導入した modified MS-TCN を組み合わせる。 - RoboSubtaskデータセット(healthcare/industrial demonstrations、sub-taskレベル注釈、manipulator primitivesへの決定論的マッピング)を導入。 - 7-DoF Kinova Gen3 manipulator上でperception-to-execution pipelineを検証。

2. 先行研究と比べてどこがすごい?

- MS-TCNおよびMS-TCN++と比較し、GTEAとRoboSubtask benchmarkで上回る。 - 長尺のBreakfast benchmarkでも競争力を維持。 - 具体的にGTEAでF1@50=79.5%、Edit=88.6%、Acc=78.9%。 - BreakfastでF1@50=30.4%、Edit=52.0%、Acc=53.5%。 - RoboSubtaskでF1@50=94.2%、Edit=95.6%、Acc=92.2%。 - 視覚ベンチマークと制御のギャップを埋めるため、sub-taskレベル注釈とmanipulator primitivesへの決定論的マッピングを備えたデータセットを導入。

3. 技術・手法の肝は?

- attention-enhanced I3D features (RGB plus optical flow) を抽出。 - Fibonacci dilation schedule を採用した modified MS-TCN で短時間遷移(reach-pick-placeなど)を捕捉。 - 学習目的はcross-entropyとtemporal regularizers (truncated MSE、transition-aware term) の複合。 - 過剰分割(over-segmentation)を減らし、有効なsub-task進行を促す。 - sub-taskラベルはロボット実行可能で、manipulator primitivesへ決定論的にマッピング。

4. どうやって有効だと検証した?

- GTEA、Breakfast、RoboSubtask benchmarkでboundary-sensitiveおよびsequence metricsにより評価。 - MS-TCN、MS-TCN++と比較。 - 7-DoF Kinova Gen3 manipulator上でfull perception-to-execution pipelineを物理トライアルで検証。 - 全体タスク成功率は約91.25%。 - 実世界設定でのend-to-end behaviorの信頼性を確認。

5. 議論はある?

- 視覚ベンチマークと制御のギャップを埋める実践的経路を示す。 - sub-taskレベルの動画理解から実世界ロボットマニピュレーションへの展開が可能。 - 過剰分割の低減と有効なsub-task進行の促進が課題として扱われる。 - 長尺Breakfast benchmarkでは性能が限定的(F1@50=30.4%)。 - 要旨からは、失敗事例や限界、倫理的議論の詳細は不明。

6. 次に読むべき論文は?

- MS-TCN - MS-TCN++ - I3D - GTEA - Breakfast - RoboSubtask - Kinova Gen3 manipulator - 関連するtemporal action segmentationやhuman-to-robot skill transferの研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dharmendra Sharma, Archit Sharma, John Rebeiro, Vaibhav Kesharwani, Peeyush Thakur, Narendra Kumar Dhar, Laxmidhar Behera

分類: cs.RO, cs.AI

原文アブストラクト

Temporally locating and classifying fine-grained sub-task segments in long, untrimmed videos is crucial to safe human-robot collaboration. Unlike generic activity recognition, collaborative manipulation requires sub-task labels that are directly robot-executable. We present RoboSubtaskNet, a multi-stage human-to-robot sub-task segmentation framework that couples attention-enhanced I3D features (RGB plus optical flow) with a modified MS-TCN employing a Fibonacci dilation schedule to capture better short-horizon transitions such as reach-pick-place. The network is trained with a composite objective comprising cross-entropy and temporal regularizers (truncated MSE and a transition-aware term) to reduce over-segmentation and to encourage valid sub-task progressions. To close the gap between vision benchmarks and control, we introduce RoboSubtask, a dataset of healthcare and industrial demonstrations annotated at the sub-task level and designed for deterministic mapping to manipulator primitives. Empirically, RoboSubtaskNet outperforms MS-TCN and MS-TCN++ on GTEA and our RoboSubtask benchmark (boundary-sensitive and sequence metrics), while remaining competitive on the long-horizon Breakfast benchmark. Specifically, RoboSubtaskNet attains F1 @ 50 = 79.5%, Edit = 88.6%, Acc = 78.9% on GTEA; F1 @ 50 = 30.4%, Edit = 52.0%, Acc = 53.5% on Breakfast; and F1 @ 50 = 94.2%, Edit = 95.6%, Acc = 92.2% on RoboSubtask. We further validate the full perception-to-execution pipeline on a 7-DoF Kinova Gen3 manipulator, achieving reliable end-to-end behavior in physical trials (overall task success approx 91.25%). These results demonstrate a practical path from sub-task level video understanding to deployed robotic manipulation in real-world settings.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI