日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.01288

ViSA-Flow: 大規模動画の意味的行動フローによるロボットスキル学習の加速

ViSA-Flow: Accelerating Robot Skill Learning via Large-Scale Video Semantic Action Flow

シェア:XThreadsFacebookLINEはてブBluesky

人間の物体操作動画から「意味的行動フロー」を自己教師ありで学習し、それをロボットの少数デモに適応させることで、低データでも操作スキルを効率的に獲得するフレームワーク。

詳しい要約

1. どんなもの?

- 大規模な人間の物体操作動画からロボットの manipulation skill を効率的に学習するフレームワーク ViSA-Flow を提案 - 中核は semantic action flow という、見た目の違いに不変な manipulator-object の時空間相互作用を表す中間表現 - ラベルなし大規模動画から自己教師ありでこの表現を学習し、少数の robot demonstration で対象ロボットへ適応 - CALVIN benchmark と実世界タスクで評価

2. 先行研究と比べてどこがすごい?

- 従来は大規模な robot demonstration 収集コストが障壁だったが、人間の動画観察から知識転移する枠組みを提示 - semantic action flow を中間表現とすることで、表面的な視覚差に不変な manipulation 構造の prior を獲得 - 特に low-data regime で prior 手法を上回り state-of-the-art を達成したと主張 - 具体的な比較対象手法名は要旨からは不明

3. 技術・手法の肝は?

- 大規模 human-object interaction 動画から semantic action flow を自動抽出 - その flow 上で generative model を事前学習し、manipulation 構造の robust な prior を獲得 - 対象ロボットでは同じ semantic abstraction pipeline を通した少数の robot demonstration で fine-tuning し prior を効率的に適応 - 詳細なネットワーク構成や学習目的関数は要旨からは不明

4. どうやって有効だと検証した?

- CALVIN benchmark と実世界タスクでの extensive experiments を実施 - low-data regime を含む設定で prior 手法と比較し、state-of-the-art 性能を報告 - 人間動画観察からロボット実行への知識転移の有効性を示す - 具体的な指標・被験者数・タスク数は要旨からは不明

5. 議論はある?

- semantic action flow が表面的視覚差に不変な表現として有効かという点が議論の焦点 - 人間動画からロボットへの転移可能性と low-data での優位性を主張 - 限界・失敗事例・計算コスト・実世界での汎化範囲は要旨からは不明

6. 次に読むべき論文は?

- CALVIN benchmark 関連の manipulation skill learning 研究 - 人間動画からのロボット学習(video-based robot learning / learning from human videos) - semantic action flow に類する中間表現・action flow 表現の研究 - generative model を用いた manipulation prior 学習 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Changhe Chen, Quantao Yang, Xiaohao Xu, Nima Fazeli, Olov Andersson

分類: cs.RO, cs.AI

原文アブストラクト

One of the central challenges preventing robots from acquiring complex manipulation skills is the prohibitive cost of collecting large-scale robot demonstrations. In contrast, humans are able to learn efficiently by watching others interact with their environment. To bridge this gap, we introduce semantic action flow as a core intermediate representation capturing the essential spatio-temporal manipulator-object interactions, invariant to superficial visual differences. We present ViSA-Flow, a framework that learns this representation self-supervised from unlabeled large-scale video data. First, a generative model is pre-trained on semantic action flows automatically extracted from large-scale human-object interaction video data, learning a robust prior over manipulation structure. Second, this prior is efficiently adapted to a target robot by fine-tuning on a small set of robot demonstrations processed through the same semantic abstraction pipeline. We demonstrate through extensive experiments on the CALVIN benchmark and real-world tasks that ViSA-Flow achieves state-of-the-art performance, particularly in low-data regimes, outperforming prior methods by effectively transferring knowledge from human video observation to robotic execution. Videos are available at https://visaflow-web.github.io/ViSAFLOW.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI