PLanAR: 計画言語に基づくエージェント推論によるロボットマニピュレーション

- 目的: 非構造環境での長期的なロボットマニピュレーションを実現するフレームワーク。 - 名称: PLanAR (Planning-Language-Grounded Agentic Reasoning)。 - 特徴: VLMを基盤とし、planning-language interfaceを導入。 - 構成要素: object predicates (シーン状態)、action schemas (スキルと前提・効果)、symbolic plans (実行可能な中間表現)。 - 機能: 各行動後にオンボード観測で期待効果を検証し、状態更新・失敗検出・再計画を可能にする。 - 対象: オープンボキャブラリかつ長期的なマニピュレーション。

- 従来のVLMによる自然言語推論のみでは、変化するシーン状態、行動制約、実行結果の推論が困難。 - PLanARはplanning-language interfaceによりVLMの推論空間を構造化し、段階的な検証を可能にした点が新しい。 - これにより、長期的タスクにおける失敗検出と再計画が可能となり、実世界での能力が向上。 - 具体的な先行研究との比較は要旨からは不明。

- planning-language interface: object predicatesでシーン状態を表現、action schemasでロボットスキルを前提条件と効果付きで定義、symbolic plansで実行可能な中間表現を提供。 - 段階的検証: 各行動後にオンボード観測を用いて期待されるシンボリック効果が達成されたか確認。 - VLMベースのエージェントがタスク状態を更新し、失敗を検出し、実行が期待から逸脱した場合に再計画。 - これにより、VLMの推論をシンボリックな計画とグラウンディング。

- 複数のロボットembodiments、VLM backends、タスク（stacking, crossword solving, long-horizon kitchen workflows）で評価。 - 実世界での強い能力を示すとともに、現在のVLMのembodied reasoningにおける限界を明らかにした。 - 具体的な評価指標や実験設定の詳細は要旨からは不明。

- 現在のVLMのembodied reasoningにおける主要な限界を明らかにした。 - 具体的な限界の内容や議論の詳細は要旨からは不明。 - 提案手法の有効性と限界のバランスについての議論は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、VLMベースのロボットマニピュレーション（例: RT-1, RT-2, PaLM-E）やplanning with symbolic representations（例: PDDL, LLM-based planning）が挙げられる。 - 同分野の定番として、SayCan, Code as Policies, Inner Monologueなどが考えられる。