日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.05203

SIL: 言語条件付き人間-エージェント共適応のための共生インタラクティブ学習

SIL: Symbiotic Interactive Learning for Language-Conditioned Human-Agent Co-Adaptation

シェア:XThreadsFacebookLINEはてブBluesky

人間とエージェントが共有潜在タスク空間で双方向に信念を更新し合い、能動的な確認や提案を行う共生インタラクティブ学習フレームワークを提案。実世界・シミュレーションタスクで90.4%の完了率を達成。

詳しい要約

1. どんなもの?

- 言語条件付きの人間-エージェント協調のための双方向 co-adaptation フレームワーク SIL(Symbiotic Interactive Learning) - 人間とエージェントが共有 latent task space 上で joint belief states を持ち、interaction history に応じて更新 - proactive clarification、adaptive suggestions、shared plan refinement を可能にする - foundation models (FMs) を spatial perception と reasoning に活用 - 長期安定性のため episodic memory と semantic memory を elastic weight consolidation で正則化 - シミュレーションと実世界の embodied tasks で評価

2. 先行研究と比べてどこがすごい?

- 従来の human-robot interaction は one-way master-apprentice 型で、embodied agent が受動的に命令を実行するのみ - 相互学習や co-adaptive な multi-turn 性を欠いていた - SIL は双方向 co-adaptation を導入し、人間とエージェント双方の belief を相互作用履歴で更新 - これにより proactive clarification や adaptive suggestions、shared plan refinement が可能 - 具体的な先行研究名の比較は要旨からは不明

3. 技術・手法の肝は?

- 共有 latent task space 上で人間とエージェントが joint belief states を維持し、interaction history で更新 - FMs を spatial perception と reasoning に利用 - triplet-loss で訓練した neural encoder で FMs の出力を task-specific latent representations に grounding - episodic memory と semantic memory のアーキテクチャを採用 - elastic weight consolidation で正則化し catastrophic forgetting を緩和 - これらを組み合わせて長期的なタスク変化に対応

4. どうやって有効だと検証した?

- シミュレーションと実世界の embodied tasks で評価 - 対象タスクは instruction following、information retrieval、query-oriented reasoning、interactive dialogue - 結果として 90.4% の task completion rate を達成 - belief alignment score は ρ ≈ 0.83 - 最良の ablation に対して約 20 percentage points の絶対改善 - デモとリソースは https://linusnep.github.io/SIL/

5. 議論はある?

- 要旨からは不明 - 想定される論点として、実世界での co-adaptation の長期安定性や memory 更新のコスト、人間側の負担などが考えられるが、要旨には明記されていない

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として foundation models (FMs)、triplet loss、episodic memory、semantic memory、elastic weight consolidation が挙げられる - 同分野の定番として human-robot interaction、language-conditioned embodied agent、continual learning 関連の論文を次に読むべき

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Linus Nwankwo, Bjoern Ellensohn, Christian Rauch, Elmar Rueckert

分類: cs.RO

原文アブストラクト

Today's autonomous agents, largely driven by foundation models (FMs), can understand natural language instructions and solve long-horizon tasks with human-like reasoning. However, current human-robot interaction frameworks largely follow a one-way master-apprentice technique where the embodied agent passively executes commands without reciprocal learning. This neglects the co-adaptive, multi-turn nature of everyday human-to-human interactions. We introduce symbiotic interactive learning (SIL), a bidirectional co-adaptation framework in a shared latent task space, where both the human and the agent maintain joint belief states that evolve with the interaction history. This enables proactive clarification, adaptive suggestions, and shared plan refinement. SIL leverages FMs for spatial perception and reasoning, together with a triplet-loss-trained neural encoder that grounds the FMs' outputs into task-specific latent representations. To support long-term stability as tasks evolve, SIL utilises episodic and semantic memory architectures, regularised via elastic weight consolidation to mitigate catastrophic forgetting. We evaluate SIL on simulated and real-world embodied tasks, including instruction following, information retrieval, query-oriented reasoning, and interactive dialogue, achieving a $90.4\%$ task completion rate and a belief alignment score of $\rho \approx 0.83$, an absolute improvement of about $20$ percentage points over the best ablations. Demos and resources: https://linusnep.github.io/SIL/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI