日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ソーシャルロボット/LLMエージェントarXiv:2603.03640

MistyPilot: ソーシャルロボットMistyのためのエージェント型高速・低速思考LLMフレームワーク

MistyPilot: An Agentic Fast-Slow Thinking LLM Framework for Misty Social Robots

シェア:XThreadsFacebookLINEはてブBluesky

プログラミング経験のないユーザーでも高レベルの指示からツールを自動選択・実行できるよう、LLM駆動のエージェントフレームワークMistyPilotを提案した。物理的対話エージェントと社会的知能エージェントを組み合わせ、高速・低速思考で効率と感情整合性を両立する。

詳しい要約

1. どんなもの?

- MistyPilotは、Misty social robot向けのagentic LLM駆動フレームワーク。 - 高レベルなユーザ指示の解釈、適切なtoolの選択・設定・実行を自律的に行う。 - 2つのコアコンポーネント: Physically Interactive Agent (PIA) と Socially Intelligent Agent (SIA)。 - PIAはsensor-triggeredかつtool-drivenなタスク実行を担う。 - SIAは社会的に知的で感情に沿った対話を生成する。 - fast-slow thinking paradigmを統合し、ユーザ選好の把握、latency削減、タスク効率向上を狙う。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごいかは要旨からは不明。 - ただし、open APIsの利用により一般ツールのカスタマイズは容易になったが、プログラミング経験のないユーザには高レベル指示の解釈やtool選択・設定・実行が依然困難である点を課題として提示。 - MistyPilotはこの課題に対し、自律的なtool選択・orchestration・parameter configurationを提供する点で貢献。 - また、5つのbenchmark datasetsを新たに提供する点も貢献。

3. 技術・手法の肝は?

- agentic LLM-driven frameworkを採用。 - Physically Interactive Agent (PIA) がsensor-triggeredおよびtool-drivenなタスク実行を実現。 - Socially Intelligent Agent (SIA) が社会的知性と感情整合性のある対話を生成。 - fast-slow thinking paradigmを統合し、ユーザ選好の捕捉、latency削減、タスク効率改善を図る。 - 具体的なアルゴリズムやモデル構造の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 5つのbenchmark datasetsを新たに貢献し、包括的評価を実施。 - 評価項目はrouting correctness、task completeness、fast-slow thinking retrieval efficiency、tool scalability、emotion alignment。 - 広範な実験によりフレームワークの有効性を実証したと主張。 - コード、データセット、実験動画はプロジェクトページで公開予定。

5. 議論はある?

- 議論や限界についての具体的な記述は要旨からは不明。 - 課題として、プログラミング経験のないユーザにとって高レベル指示の解釈やtool選択・設定・実行が困難であることを挙げている。 - MistyPilotがこれらの課題をどの程度解決したか、また残る課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として、agentic LLM frameworks、fast-slow thinking paradigms、social robot tool orchestration、emotion alignment in dialogue systemsなどが同分野の定番として挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiao Wang, Lu Dong, Jingchen Sun, Ifeoma Nwogu, Srirangaraj Setlur, Venu Govindaraju

分類: cs.RO

原文アブストラクト

With the availability of open APIs in social robots, it has become easier to customize general-purpose tools to meet users' needs. However, interpreting high-level user instructions, selecting and configuring appropriate tools, and executing them reliably remain challenging for users without programming experience. To address these challenges, we introduce MistyPilot, an agentic LLM-driven framework for autonomous tool selection, orchestration, and parameter configuration. MistyPilot comprises two core components: a Physically Interactive Agent (PIA) and a Socially Intelligent Agent (SIA). The PIA enables robust sensor-triggered and tool-driven task execution, while the SIA generates socially intelligent and emotionally aligned dialogue. MistyPilot further integrates a fast-slow thinking paradigm to capture user preferences, reduce latency, and improve task efficiency. To comprehensively evaluate MistyPilot, we contribute five benchmark datasets. Extensive experiments demonstrate the effectiveness of our framework in routing correctness, task completeness, fast-slow thinking retrieval efficiency, tool scalability,and emotion alignment. All code, datasets, and experimental videos will be made publicly available on the project webpage.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI