日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成arXiv:2610.25649

記憶拡張リフレクションによるエージェント型人間動作インタラクション

InteractAgent: Agentic Human Motion Interaction with Memory-Augmented Reflection

シェア:XThreadsFacebookLINEはてブBluesky

MLLMをプランナ兼評価者、凍結MotionLLMを実行者として、計画・実行・観察・反省を閉ループで回し、長期的な人間-シーンインタラクションを実現するエージェントシステム。

詳しい要約

1. どんなもの?

- InteractAgent は long-horizon human-scene interaction のための agentic multimodal LLM システム - 単一の MLLM を planner と evaluator の両方に用いる - frozen MotionLLM を executor として使う - plan, execute, observe, reflect を closed loop で回す - Online Observation により step ごとに continue/redo/replan を判断 - Memory-Augmented Reflection により複数ラウンドの plan refinement と adaptive stopping を行う

2. 先行研究と比べてどこがすごい?

- text-driven motion models は scene-agnostic で closed-loop correction を欠く - geometry-conditioned approaches は paired scene-motion training や明示的な 3D preprocessing に依存し、novel layouts や open-vocabulary goals への generalization が限られる - InteractAgent は training-free で closed-loop の correction と reflection を組み込む点が異なる - UniHSI 上で training-free baselines より task success を改善し penetration を低減

3. 技術・手法の肝は?

- 単一 MLLM を planner 兼 evaluator として用いる agentic 構成 - frozen MotionLLM を executor として motion を生成 - Online Observation で各 step の結果を観測し continue/redo/replan を決定 - Memory-Augmented Reflection で複数ラウンドの plan refinement を行い adaptive stopping を適用 - これらを closed loop に統合し compounding execution errors からの回復を狙う

4. どうやって有効だと検証した?

- UniHSI 上で評価 - training-free baselines と比較 - task success の改善と penetration の低減を報告 - 具体的な指標値や被験者実験の有無は要旨からは不明

5. 議論はある?

- long-horizon での compounding execution errors への対処が動機 - training-free で novel layouts や open-vocabulary goals への generalization を狙う設計 - 失敗事例や限界、計算コスト、adaptive stopping の挙動などの詳細は要旨からは不明

6. 次に読むべき論文は?

- MotionLLM - UniHSI - text-driven motion models に関する研究 - geometry-conditioned human-scene interaction 手法 - MLLM を planner/evaluator に用いる agentic planning 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tao Zhang, Senhe Zhang, Zeyu Zhang, Yujia Zhang, Dong Gong

分類: cs.RO, cs.CV

原文アブストラクト

Long-horizon human-scene interaction requires coordinated spatial reasoning, physical feasibility, and the ability to recover from compounding execution errors. Text-driven motion models are largely scene-agnostic and lack closed-loop correction, while geometry-conditioned approaches depend on paired scene-motion training or explicit 3D preprocessing that limits generalization to novel layouts and open-vocabulary goals. We present InteractAgent, an agentic multimodal LLM system for long-horizon human-scene interaction that plans, executes, observes, and reflects in a closed loop, using a single MLLM as both planner and evaluator and a frozen MotionLLM as the executor. InteractAgent integrates Online Observation for step-wise recovery decisions (continue/redo/replan) and Memory-Augmented Reflection for multi-round plan refinement with adaptive stopping. On UniHSI, InteractAgent improves task success and reduces penetration compared with training-free baselines. Code: https://github.com/AIGeeksGroup/InteractAgent.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI