基盤モデル/一般化2026/3/1arXiv:2603.04819

オープンセット身体支援におけるデータの強みと弱み

On the Strengths and Weaknesses of Data for Open-set Embodied Assistance

合成環境で多様な支援データを用いて微調整した基盤モデルの、未知のユーザー行動や新構成への一般化能力を調査した論文。

詳しい要約

1. どんなもの？

本論文は、embodied foundation model の open-set な支援能力を評価する研究。 - 対象は multimodal foundation model を多様な interactive assistance data で fine-tune したもの。 - synthetic domain の Overcooked でデータ生成し、LLaMA-based model を fine-tune。 - 未見の user behavior カテゴリへの支援と、訓練時にない新 configuration での guidance の2軸で汎化を検証。 - Open-Set Corrective Assistance と呼ぶ、長い user behavior を検査し corrective actions か language-based feedback で支援する能力を扱う。

2. 先行研究と比べてどこがすごい？

先行研究との比較で、以下の点が異なる。 - 従来は closed corrective categories を仮定するか、external planner に依存していた。 - 本論文の Open-Set Corrective Assistance は未解決のタスクであり、支援データの限界を評価する challenging testbed となる。 - 多様な interactive data generation が data-efficient generalization に有望という立場から、その実効性を検証。 - 具体的な性能差の数値は要旨からは不明。

3. 技術・手法の肝は？

技術の肝は以下の通り。 - Overcooked で synthetic assistive datasets を生成。 - LLaMA-based model を fine-tune して、新規タスク・新規 user behavior への汎化を評価。 - 支援には corrective actions と language-based feedback の両方を用いる。 - 有効なモデルは、multimodal grounding、defect inference、多様な scenario への exposure を含むデータから恩恵を受ける。

4. どうやって有効だと検証した？

検証方法は以下の通り。 - synthetic domain の Overcooked で生成した assistive datasets を用いて LLaMA-based model を fine-tune。 - 未見の user behavior カテゴリへの支援と、訓練時にない新 configuration での guidance の2軸で汎化を評価。 - 具体的な評価指標やベースラインとの比較結果は要旨からは不明。

5. 議論はある？

議論のポイントは以下の通り。 - open-set assistive intelligence を実現するために必要な assistive datasets の性質について洞察を示す。 - 高性能モデルは multimodal grounding、defect inference、多様な scenario への exposure をカバーするデータから利益を得る。 - 限界や今後の課題についての具体的な議論は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照・比較されている研究や関連手法は以下の通り。 - embodied foundation models - multimodal foundation model - LLaMA-based model - Overcooked - closed corrective categories を仮定する先行研究 - external planner に依存する先行研究 - 同分野の定番として interactive embodied assistance や open-set generalization に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pradyumna Tambwekar, Andrew Silva, Deepak Gopinath, Jonathan DeCastro, Xiongyi Cui, Guy Rosman

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Embodied foundation models are increasingly performant in real-world domains such as robotics or autonomous driving. These models are often deployed in interactive or assistive settings, where it is important that these assistive models generalize to new users and new tasks. Diverse interactive data generation offers a promising avenue for providing data-efficient generalization capabilities for interactive embodied foundation models. In this paper, we investigate the generalization capabilities of a multimodal foundation model fine-tuned on diverse interactive assistance data in a synthetic domain. We explore generalization along two axes: a) assistance with unseen categories of user behavior and b) providing guidance in new configurations not encountered during training. We study a broad capability called \textbf{Open-Set Corrective Assistance}, in which the model needs to inspect lengthy user behavior and provide assistance through either corrective actions or language-based feedback. This task remains unsolved in prior work, which typically assumes closed corrective categories or relies on external planners, making it a challenging testbed for evaluating the limits of assistive data. To support this task, we generate synthetic assistive datasets in Overcooked and fine-tune a LLaMA-based model to evaluate generalization to novel tasks and user behaviors. Our approach provides key insights into the nature of assistive datasets required to enable open-set assistive intelligence. In particular, we show that performant models benefit from datasets that cover different aspects of assistance, including multimodal grounding, defect inference, and exposure to diverse scenarios.

arXivで原文を読む →arXiv概要ページ

← 論文一覧