日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.05298

GhostShell: 具現化システムにおける並行行動プログラミングのためのストリーミングLLM関数呼び出し

GhostShell: Streaming LLM Function Calls for Concurrent Embodied Programming

シェア:XThreadsFacebookLINEはてブBluesky

LLMの生成ストリームから関数呼び出しを逐次解析し、マルチチャネルスケジューリングで複数ロボットコンポーネントの並行・並列動作を実現する手法を提案。実機33タスクで有効性を検証した。

詳しい要約

1. どんなもの?

- 実体を持つロボットシステムにおける行動プログラミング手法「GhostShell」の提案 - LLMのストリーミング生成中に関数を逐次呼び出すことで、計画してから実行するのではなく、推論しながら行動する(reasoning-while-acting)ことを可能にする - 複数のロボット構成要素にまたがる逐次・並列の行動実行を調整する - ロボットプロトタイプCoCo上で評価

2. 先行研究と比べてどこがすごい?

- 事前に定義された行動構造やplan-then-executeパラダイムとは対照的に、LLMの生成ストリームから関数呼び出しを逐次的に取り出す方式 - ネイティブなLLM function callingと比較して、function tokenスキーマは15/15のタスク完了率(比較対象は6/15)を達成 - 特に言語的行動と物理的行動の同時調整において優位 - 9社のLLMプロバイダのモデルで33の実世界タスクを評価

3. 技術・手法の肝は?

- function tokenと呼ぶXMLベースの関数呼び出し表現を定義 - GhostShellがLLMの生成ストリームからfunction tokenを解析し、呼び出し可能な関数へマッピング - マルチチャネルスケジューリングアルゴリズムにより、チャネル内は同期・チャネル間は非同期でディスパッチし、逐次・並列の行動実行を調整 - これにより推論しながら行動するストリーミングかつ並行的な行動プログラミングを実現

4. どうやって有効だと検証した?

- ロボットプロトタイプCoCo上で、9社のLLMプロバイダのモデルを用いて33の実世界タスクで評価 - 30のgrounded Human-Robot Interaction(HRI)タスクでは、Claude-Sonnet-4でDirected Structured Behavior Correctness(DSBC)スコア0.83を達成し最高 - 3つのlong-horizon multimodalタスクでは、GPT-4.1が人間評価で7.0/10の最高スコア - ネイティブLLM function callingとの比較でタスク完了率15/15対6/15

5. 議論はある?

- 要旨からは不明(限界や失敗事例、スケジューリングのオーバーヘッド、モデル間の性能差の要因などについての議論は記述されていない)

6. 次に読むべき論文は?

- 比較対象として言及されているネイティブなLLM function calling(native LLM function calling) - 対比されているplan-then-executeパラダイムの関連研究 - 評価で用いられたLLM:Claude-Sonnet-4、GPT-4.1 - 関連手法として、LLMによるロボット行動生成・embodied programmingの定番研究(例:Code as Policies、SayCanなど)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jian Gong, Youwei Huang, Bo Yuan, Ming Zhu, Zhou Liao, Jianhang Liang, Juncheng Zhan, Jinke Wang, Hang Shu, Zihao Xu, Mingyue Xiong, Yanjun Ye, Yufan Zu, Yang Zhou, Yihan Ding, Xuannian Chen, Xingyu Lu, Runjie Ban, Bingchao Huang

分類: cs.RO

原文アブストラクト

We present GhostShell, a novel approach that leverages Large Language Models (LLMs) for streaming and concurrent behavioral programming in embodied systems. In contrast to predefined behavioral structures and plan-then-execute paradigms, GhostShell enables reasoning-while-acting by incrementally invoking functions during LLM streaming generation. We define function tokens as an XML-based function-call representation that GhostShell parses from the LLM generation stream and maps to callable functions. A multi-channel scheduling algorithm further orchestrates these calls with intra-channel synchronous and inter-channel asynchronous dispatch, coordinating sequential-parallel behavior execution across multiple robotic components. We evaluate GhostShell on our robotic prototype CoCo across 33 real-world tasks with LLMs from nine providers. On 30 grounded Human-Robot Interaction (HRI) tasks, our approach achieves the highest Directed Structured Behavior Correctness (DSBC) score of 0.83 with Claude-Sonnet-4, while on three long-horizon multimodal tasks, GPT-4.1 attains a top human evaluation score of 7.0/10. Compared to native LLM function calling, our function token schema achieves a 15/15 task completion rate versus 6/15, particularly in coordinating concurrent linguistic and physical actions. Supplementary materials, including videos, are available at https://coco-robot.github.io/GhostShell.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI