日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.21107

クロスモーダル指示によるロボット動作生成

Cross-Modal Instructions for Robot Motion Generation

シェア:XThreadsFacebookLINEはてブBluesky

自由記述テキストなどの粗い注釈を指示として使い、視覚言語モデルと微調整モデルを組み合わせて3D動作軌道を生成するCrossInstructを提案し、強化学習と組み合わせて実機・シミュレーションで検証した。

詳しい要約

1. どんなもの?

- ロボットに新行動を教える新パラダイム「Learning from Cross-Modal Instructions」を提案する研究。 - 物理的なmotion demonstration(teleoperationやkinaesthetic teaching)の代わりに、free-form text labelsを含むrough annotationsをデモとして用いる。 - 提案フレームワーク「CrossInstruct」は、cross-modal instructionsを例としてcontext inputに統合し、foundational vision-language model (VLM)を活用する。 - VLMがfine-tunedされた小規模モデルを反復的にqueryし、複数の2D view上で所望のmotionを合成する。 - それらをロボットworkspace内の3D motion trajectories上の一貫した分布へfuseする。 - さらに、CrossInstruct出力を活用しfine-grained taskのpolicyを効率的に学習す…

2. 先行研究と比べてどこがすごい?

- 従来、ロボットへの行動教示はteleoperationやkinaesthetic teachingによるmotion demonstrationが一般的で、データ収集が煩雑でdemonstration datasetsのスケールが困難であった。 - 近年のhuman sketchesによるbehavior指定の研究も存在するが、依然としてデータ収集が煩雑でスケールしにくい。 - 本研究は物理的motionの代わりにfree-form text labelsを含むrough annotationsをデモとして用いる点で、データ収集の負担軽減とスケーラビリティ向上を狙う。 - 大規模VLMのreasoningとfine-grained pointing modelを組み合わせ、限られたinstruction例の環境を超えてgeneralizeする実行可能なbehaviorを生成できると主張。

3. 技術・手法の肝は?

- CrossInstruct frameworkの中核は、cross-modal instructionsを例としてcontext inputに統合したfoundational vision-language model (VLM)の利用。 - VLMが小規模でfine-tunedされたモデルを反復的にqueryし、複数の2D view上で所望のmotionを合成する。 - 合成された複数2D viewの情報を、ロボットworkspace内の3D motion trajectories上のcoherentな分布へfuseする。 - 大規模VLMのreasoningとfine-grained pointing modelを組み合わせ、限られたinstruction例を超えてgeneralizeするexecutable robot behaviorsを生成。 - 加えて、CrossInstruct出力を初期化に用いるdownstream reinforcement learning pipelineでfine-grained taskのpolicyを学習。

4. どうやって有効だと検証した?

- benchmark simulation tasksとreal hardwareの両方でCrossInstructを厳密に評価。 - 追加のfine-tuningなしで有効性を実証したと報告。 - さらに、reinforcement learningで後からrefineするpolicyの強いinitializationを提供できることを示した。 - 具体的なタスク名・評価指標・試行数などの詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - ただし、限られたinstruction例の環境を超えたgeneralization、追加fine-tuning不要での有効性、RL policyの初期化としての有用性が主張されており、これらが議論の焦点になり得る。 - rough annotationsの品質・多様性、VLMのreasoningへの依存、2D viewから3D trajectoryへのfusionの限界などは要旨では明示されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: human sketchesを用いたbehavior指定の先行研究、teleoperationやkinaesthetic teachingによるmotion demonstrationの従来研究。 - 関連手法として、foundational vision-language model (VLM)、fine-tuned pointing model、reinforcement learning pipeline。 - 同分野の定番として、Learning from Demonstration (LfD)、Vision-Language-Action (VLA) models、imitation learning、reinforcement learning。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: William Barron, Xiaoxiang Dong, Matthew Johnson-Roberson, Weiming Zhi

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Teaching robots novel behaviors typically requires motion demonstrations via teleoperation or kinaesthetic teaching, that is, physically guiding the robot. While recent work has explored using human sketches to specify desired behaviors, data collection remains cumbersome, and demonstration datasets are difficult to scale. In this paper, we introduce an alternative paradigm, Learning from Cross-Modal Instructions, where robots are shaped by demonstrations in the form of rough annotations, which can contain free-form text labels, and are used in lieu of physical motion. We introduce the CrossInstruct framework, which integrates cross-modal instructions as examples into the context input to a foundational vision-language model (VLM). The VLM then iteratively queries a smaller, fine-tuned model, and synthesizes the desired motion over multiple 2D views. These are then subsequently fused into a coherent distribution over 3D motion trajectories in the robot's workspace. By incorporating the reasoning of the large VLM with a fine-grained pointing model, CrossInstruct produces executable robot behaviors that generalize beyond the environment of in the limited set of instruction examples. We then introduce a downstream reinforcement learning pipeline that leverages CrossInstruct outputs to efficiently learn policies to complete fine-grained tasks. We rigorously evaluate CrossInstruct on benchmark simulation tasks and real hardware, demonstrating effectiveness without additional fine-tuning and providing a strong initialization for policies subsequently refined via reinforcement learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI