日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.06852

ContextFlow: ロボット操作のためのインコンテキストフローマッチング

ContextFlow: In-Context Flow Matching for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

連続的な行動分布を学習する条件付きフローマッチングモデルを導入し、デモンストレーションと観察に基づいて行動生成を行い、未見のタスク設定での汎化性能を向上させた。

詳しい要約

1. どんなもの?

ContextFlowは、ロボット操作のためのin-context imitation learningを行う条件付きflow-matchingモデルである。デモンストレーションと観察に基づいて連続的な行動分布を学習し、ノイズを含む行動分布からロバストな行動生成を可能にする。視覚、固有受容、行動シーケンスをコンパクトなタスク関連の潜在表現に圧縮するperceiverスタイルのマルチモーダルコンテキスト圧縮器を採用する。

2. 先行研究と比べてどこがすごい?

既存の自己回帰型in-context模倣法は連続行動を離散化し、next-token predictionによる誤差蓄積を起こすが、ContextFlowはflow-matchingを用いて連続制御を行い、複合誤差を軽減する。また、flow-matchingポリシーはロボット制御で研究されてきたが、in-context imitation learningとの組み合わせは未開拓であり、ContextFlowはそのギャップを埋める。

3. 技術・手法の肝は?

手法の肝は、条件付きflow-matchingモデルを用いて、デモンストレーションと観察を条件として行動分布を学習することである。さらに、perceiverスタイルのマルチモーダルコンテキスト圧縮器を適応し、視覚、固有受容、行動シーケンスをタスク関連のコンパクトな潜在表現に蒸留することで、マルチモーダルなin-contextデモンストレーションを効果的にエンコードする。

4. どうやって有効だと検証した?

LIBEROベンチマークで評価し、未見のタスク構成において平均成功率でICRTを35ポイント上回り、タスク特化のファインチューニングをしたVLAモデルπ0にファインチューニングなしで匹敵する性能を示した。実ロボットでは、単腕および双腕タスクの未見構成に一般化し、新しいペンキャップ外し構成で40%の成功率を達成した。

5. 議論はある?

要旨からは、議論の詳細は不明であるが、in-context learningのロボティクスへの適用における課題(離散化による誤差蓄積、連続制御への適用)に対処している点が議論の中心と考えられる。また、実ロボットでの成功率が40%と限定的であることから、さらなる一般化の余地がある可能性が示唆されるが、要旨には明記されていない。

6. 次に読むべき論文は?

要旨で参照されている研究として、ICRT(in-context imitation learningの自己回帰モデル)とπ0(タスク特化のVLAモデル)が挙げられる。また、関連手法としてflow-matchingポリシーやperceiverアーキテクチャに関する論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jian Ding, Xianjie Dai, Roei Herzig, Nussair Hroub, Jinjie Mai, Dengxin Dai, Bernard Ghanem, Mohamed Elhoseiny

分類: cs.RO

原文アブストラクト

Although highly effective in vision and language domains, applying in-context learning to robotics remains challenging. Existing autoregressive in-context imitation methods discretize continuous actions and exacerbate the accumulation of early prediction errors through next-token prediction, limiting their generalization on unseen task configurations. Meanwhile, flow-matching policies have been explored for continuous robot control and can help mitigate compounding errors; however, in-context imitation learning within a flow-matching framework remains underexplored. To address these limitations, we introduce ContextFlow, a conditional flow-matching model that learns continuous action distributions for in-context imitation learning. ContextFlow conditions flow-based action prediction on demonstrations and observations, enabling robust generation from noisy action distributions. To better encode multimodal in-context demonstrations, we adapt perceiver-style multimodal context compressors that distill visual, proprioceptive, and action sequences into compact, task-relevant latent representations. On LIBERO, ContextFlow outperforms ICRT by 35 percentage points in average success rate on unseen task configurations, while matching the performance of the task-specific fine-tuned VLA model $π_0$ without any fine-tuning on unseen tasks. On real robots, it generalizes to unseen configurations of both single-arm and bimanual tasks, achieving 40% success on a new pen-uncapping configuration. Project Page: https://dingjiansw101.github.io/contextflow-page/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI