日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.12957

JoyInside-VLM-Agent:製品条件付きマルチモーダル方策学習による身体性エージェント

JoyInside-VLM-Agent: Product-Conditioned Multimodal Policy Learning for Embodied Agents

シェア:XThreadsFacebookLINEはてブBluesky

製品制約や目標変更に対応するReAct型マルチモーダルエージェントを構築し、サンドボックス軌道生成と段階的な方策学習(SFT・蒸留・DPER付きRL)で訓練、BFCL v4や実機四足ロボットで有効性を示した。

詳しい要約

1. どんなもの?

- 製品条件付きのマルチモーダルエージェント - 名称: JoyInside-VLM-Agent - 形式: ReAct-style multimodal agent - 対象: robotic platforms と smart hardware - 目的 - マルチモーダル観測とユーザ要求を実行可能な行動に変換 - 製品制約、目標変更、実行フィードバックに適応 - 学習の枠組み - product-conditioned trajectory construction - staged policy learning

2. 先行研究と比べてどこがすごい?

- 評価ベースラインを上回る性能 - BFCL v4 overall score 77.44 - 評価したベースラインを超過 - 他の公開ベンチマーク - 結果は mixed - 製品特化ベンチマーク - JoyInside-Devices と JoyInside-Robotics - 評価システムは domain-specific skill refinement を含む - 報告された全指標でベースラインをリード - 実世界事例 - 四足歩行ロボットの2事例 - visually grounded search、実行失敗後の replanning、明示的失敗報告を提示

3. 技術・手法の肝は?

- 閉ループサンドボックス - マルチモーダル相互作用軌跡を生成 - 目標改訂と失敗回復をカバー - 実行結果と意味基準でチェック - 段階的ポリシー学習 - Supervised fine-tuning - Multi-teacher on-policy distillation - Reinforcement learning with DPER - DPER - Dual-Source Privileged On-Policy Self-Distillation with Token-Level Evidence Routing - frozen privileged teacher と privileged student の間で token-level evidence をルーティング - privileged student は rollout policy とパラメータを共有 - reward-derived token advantages を調整しつつ符号を保持 - 訓練報酬 - generative process eva…

4. どうやって有効だと検証した?

- 公開ベンチマーク - BFCL v4 overall score 77.44 - 他の公開ベンチマークは mixed - 製品特化ベンチマーク - JoyInside-Devices と JoyInside-Robotics - 評価システムは domain-specific skill refinement を含む - 全報告指標でベースラインをリード - 実世界検証 - 四足歩行ロボットの2事例 - visually grounded search、実行失敗後の replanning、明示的失敗報告を例示

5. 議論はある?

- 公開ベンチマーク間の性能差 - BFCL v4 では良好 - 他の公開ベンチマークは mixed - 製品特化評価 - JoyInside-Devices と JoyInside-Robotics でリード - domain-specific skill refinement の寄与は要旨からは不明 - 実世界事例 - 四足歩行ロボットの2事例のみ - 一般化可能性や限界は要旨からは不明

6. 次に読むべき論文は?

- BFCL v4 - ReAct - Supervised fine-tuning - On-policy distillation - Reinforcement learning - DPER (Dual-Source Privileged On-Policy Self-Distillation with Token-Level Evidence Routing) - JoyInside-Devices - JoyInside-Robotics

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gangyi Li, LuYao Wang, Jingfu Sun, Jingyi Yuan, Hang Liu, Hao Zong, Yujia Hu, Tingting Gao, Jianyong Wang, Xu Yang

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Embodied agents must translate multimodal observations and user requests into executable actions while adapting to product constraints, changing goals, and execution feedback. We present JoyInside-VLM-Agent, a ReAct-style multimodal agent developed through product-conditioned trajectory construction and staged policy learning for robotic platforms and smart hardware. A closed-loop sandbox generates multimodal interaction trajectories covering goal revisions and failure recovery, which are checked against execution outcomes and semantic criteria. Supervised fine-tuning and multi-teacher on-policy distillation precede reinforcement learning with DPER (Dual-Source Privileged On-Policy Self-Distillation with Token-Level Evidence Routing). DPER routes token-level evidence between a frozen privileged teacher and a privileged student sharing the rollout policy's parameters, modulating reward-derived token advantages while preserving their signs. Training rewards combine generative process evaluation, multi-judge rankings, and task-queue consistency. JoyInside-VLM-Agent achieves a BFCL v4 overall score of 77.44, exceeding the evaluated baselines; results on the other public benchmarks are mixed. On JoyInside-Devices and JoyInside-Robotics, the evaluated system, which includes domain-specific skill refinement, leads the baselines on all reported metrics. Two real-world quadruped case studies illustrate visually grounded search, replanning after execution failure, and explicit failure reporting.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI