日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

具身エージェント/ランタイムarXiv:2607.05482

TypeGo: 具身エージェントのためのOSランタイム

TypeGo: An OS Runtime for Embodied Agents

シェア:XThreadsFacebookLINEはてブBluesky

LLMによる計画を非同期ループ化し、身体をOSがハードウェアを管理するように扱う、具身エージェント向けOS風ランタイムTypeGoを提案。実機四足ロボットで遅延を大幅削減した。

詳しい要約

1. どんなもの?

TypeGoは、LLMを用いたembodied agentのためのOS風ランタイムの初期プロトタイプである。LLMを逐次的なrequest/response oracleとして使うのではなく、複数のタイムスケールで非同期にLLMベースのプランニングを実行し、実行と重ね合わせる。Skill Kernelが型付き物理サブシステムを仲裁し、スケジューラがタスクをプリエンプト・再開・置換し、speculative skill streamingでLLMレイテンシを隠蔽する。ユーザは自然言語で行動を指示し、TypeGoはそれをLLMプランナにディスパッチするか、低遅延の割り込みハンドラにコンパイルする。

2. 先行研究と比べてどこがすごい?

従来のLLMベースのembodied agentは、LLMを逐次的なoracleとして使い、リアルタイム制御や並行目標に適さない。TypeGoはOSの概念(ハードウェア抽象化、スケジューリング、割り込み処理)を導入し、LLMプランニングを非同期ループとして実行と重ねることで、遅延を削減し、並行タスクを扱う点が新しい。

3. 技術・手法の肝は?

手法の肝は、LLMプランニングを複数のタイムスケールの非同期ループとして構造化し、実行とオーバーラップさせること。Skill Kernelが型付き物理サブシステムを仲裁し、スケジューラがタスクをプリエンプト・再開・置換する。speculative skill streamingでLLMレイテンシを隠蔽し、fast first-action pathで1秒以内に可視フィードバックを提供する。ユーザの自然言語指示はLLMプランナにディスパッチされるか、低遅延の割り込みハンドラにコンパイルされる。

4. どうやって有効だと検証した?

Unitree Go2四足ロボットのKalosプロトタイプを用いて、現在のタスクスイートで評価した。ステップごとのプランニングと比較して1ステップあたりの遅延を50%削減し、モノリシックなプランニングと比較して最初のアクションまでの時間を73%削減した。また、並行タスクを低いスケジューリングオーバーヘッドで受け入れることを示した。

5. 議論はある?

要旨からは、議論の詳細は不明。ただし、初期プロトタイプであり、タスクスイートが限定的であること、実世界の複雑な環境での評価が不足している可能性が示唆される。また、LLMの不確実性や安全性に関する議論は要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている研究は明示されていないが、関連する分野として、LLM-based planning for embodied agents、OS for robots、real-time control with LLMs、speculative executionなどの研究が考えられる。具体的には、LLMをロボット制御に用いる既存研究(例えば、SayCan、PaLM-Eなど)や、リアルタイムシステムのスケジューリングに関する研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guojun Chen, Alex Schott, Lin Zhong

分類: cs.SE, cs.RO

原文アブストラクト

Large language models (LLMs) can plan behavior for embodied agents from natural language, but treating the LLM as a request/response oracle on the critical path is fundamentally at odds with real-time control and concurrent goals. We argue for an operating-system-style runtime for embodied agents, and instantiate this idea in an early prototype, TypeGo. TypeGo structures LLM-based planning as asynchronous loops at multiple timescales that overlap with execution, and manages the agent's physical body like an OS manages hardware: the Skill Kernel arbitrates typed physical subsystems among concurrent per-task processes, a scheduler preempts them and resumes or replaces each by source, and speculative skill streaming hides LLM latency behind ongoing motion, while a fast first-action path yields visible feedback within a second. Users program behavior through natural language prescriptions that TypeGo dispatches to the LLM-based planners or compiles into low-latency interrupt handlers. Our prototype of Kalos, a Unitree Go2 quadruped, provides preliminary evidence for the design: in our current task suite, it cuts per-step delay by 50% over step-by-step planning and time-to-first-action by 73% over monolithic planning, while admitting concurrent tasks at low scheduling overhead.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI