日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2606.01951

自己中心視点ビデオとデモンストレーションの共学習によるロボットナビゲーションタスク

Co-training with Ego-centric Video and Demonstration for Robot Navigation Task

シェア:XThreadsFacebookLINEはてブBluesky

歩行者の自己中心視点ビデオを移動ロボットの模倣学習用データセットに変換し、VLAモデルをロボット収集データと共に学習することで、ナビゲーション性能を向上させる手法を提案した。

詳しい要約

1. どんなもの?

- モバイルロボットのナビゲーションタスク向けに、一人称視点の人間歩行ビデオをロボットの模倣学習データセットに変換するフレームワークを提案。 - 変換した人間由来データとロボット収集データを共同でVLAモデルに学習させ、言語理解と行動生成の堅牢性を向上。 - 果物探索ナビゲーションタスクで有効性を実証。

2. 先行研究と比べてどこがすごい?

- 従来、操作タスクでは一人称人間ビデオによるデータ拡張が検討されてきたが、移動ロボットのナビゲーションでは視点変化が課題で適用が難しかった。 - 本研究はカメラモーションを推定し、地上移動ロボットに互換な行動表現に変換することでこの課題を克服。 - 人間由来データとロボットデータの共同学習により、どちらか一方のみの学習より優れることを示した。

3. 技術・手法の肝は?

- 一人称歩行ビデオからカメラモーションを推定し、地上移動ロボットに適合する行動表現に変換する。 - 変換した人間由来データセットとロボット収集データセットを共同でVLAモデルに学習させる。 - これにより言語理解と行動生成の両面で改善を図る。

4. どうやって有効だと検証した?

- 果物探索ナビゲーションタスクで実験を実施。 - 人間の一人称ビデオが移動ロボット学習の有効かつスケーラブルなデータ源となることを示した。 - 具体的な評価指標や比較手法の詳細は要旨からは不明。

5. 議論はある?

- 人間の一人称ビデオを活用することで、実ロボットでのデータ収集コストを削減できる可能性がある。 - 視点変化への対応が課題であったが、カメラモーション推定により解決を試みている。 - 限界や今後の課題についての議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Vision-language-action (VLA) models、egocentric human videos、imitation learning、mobile robot navigation の定番研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shoya Kuno, Yumo Ouchi, Kanata Suzuki

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) models are promising for diverse robotic tasks, but their performance heavily depends on large-scale high-quality training data, whose collection on real robots is costly and time-consuming. While prior work has explored augmenting manipulation datasets with egocentric human videos, applying such approaches to mobile robot navigation remains challenging due to viewpoint changes during locomotion. In this paper, we propose a framework that converts egocentric walking videos into datasets for mobile robot imitation learning. The proposed method estimates camera motion from human videos and transforms it into action representations compatible with ground mobile robots. By jointly training a VLA model on human-derived and robot-collected datasets, the model achieves improved language understanding and more robust action generation than training with either data source alone. Experiments on a fruit-search navigation task demonstrate that human egocentric videos provide an effective and scalable data source for mobile robot learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI