日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/ヒューマノイド/操作arXiv:2607.18016

ヒューマノイドVLAにおけるループの閉鎖:検証可能な移動操作のための持続的3Dオブジェクトトークン

Closing the Loop in Humanoid VLA: Persistent 3D Object Tokens for Verifiable Loco-Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

RGB-D観測から役割インデックス付きの3Dオブジェクト記録を維持し、それをオブジェクトトークンとして行動生成と幾何学的述語チェックの両方に使用することで、検証可能な閉ループ実行を実現するPOT-VLAを提案。実機でベースラインを大幅に上回る成功率を達成。

詳しい要約

1. どんなもの?

本論文は、ヒューマノイドロボットの長期的な移動操作タスクにおいて、物体を永続的な物理的実体として扱うための新しい手法を提案している。具体的には、RGB-D観測から役割インデックス付きの3D物体記録を維持し、それを物体トークンに変換して全身動作生成に利用するPersistent Object Tokenization (POT)を導入する。この手法をPOT-VLAとして実装し、物体状態を動作生成と幾何学的述語チェックの両方に使用することで、検証可能な閉ループ実行システムを実現する。

2. 先行研究と比べてどこがすごい?

先行研究のVision-Language-Action (VLA)ポリシーは、物体状態の表現が動作生成とタスク達成の検証で乖離するという問題があった。POTは物体状態を永続的な3D記録として一元管理し、動作生成と検証の両方に同じ物体状態を使用することで、この乖離を解消する点が新しい。また、直接的なベースラインであるGR00T-N1.7と比較して、成功率を大幅に向上させている。

3. 技術・手法の肝は?

手法の核心は、RGB-D観測から物体の3D位置と役割(例:把持対象、配置先)を追跡する永続的な物体記録を維持し、これをトークン化して動作生成モデルに入力することである。さらに、同じ物体記録を用いて幾何学的述語(例:物体が目標位置にあるか)をチェックし、タスク達成を検証する。これにより、物体状態が動作生成と検証の両方で一貫して使用される。

4. どうやって有効だと検証した?

Unitree G1ヒューマノイドロボットを用いて、8つの実世界タスクファミリーで評価した。直接比較したGR00T-N1.7ベースラインでは39/80の成功率だったのに対し、POT-VLAは71/80を達成した。また、外部のBeing-0と比較した整列サービスタスクでは、Being-0の報告値37/50に対してPOT-VLAは44/50を達成した。特に、3D関係の維持が必要なタスクで最大の改善が見られた。

5. 議論はある?

要旨からは、物体中心の永続的な状態表現がヒューマノイドVLA実行の検証可能性に有用であると示唆されるが、具体的な議論や限界については不明である。例えば、物体の追跡が失敗する場合や、動的環境での性能、計算コストなどについては言及されていない。

6. 次に読むべき論文は?

要旨で参照されている研究として、GR00T-N1.7とBeing-0が挙げられる。次に読むべき論文としては、これらのベースライン手法の詳細を説明した論文が適切である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peng Ren, Haoyang Ge, Jiang Zhao, Cong Huang, Yukun Shi, Pei Chi, Kai Chen

分類: cs.RO

原文アブストラクト

Vision-language-action policies are a promising foundation for general robot control, but long-horizon humanoid loco-manipulation requires the robot to treat task objects as persistent physical entities across movement, contact, occlusion, and recovery. We study this problem as object-state divergence: the object state used to condition a whole-body action can differ from the state used to decide whether the action achieved the intended physical relation. We propose \emph{Persistent Object Tokenization} (POT), which maintains role-indexed 3D object records from RGB-D observations and converts them into object tokens for a whole-body action expert. Instantiated as \emph{POT-VLA}, the same object records condition action generation and support geometric predicate checks, yielding a closed-loop execution system in which object state is both actionable and verifiable. On a Unitree G1, POT-VLA improves a matched direct GR00T-N1.7 baseline from 39/80 to 71/80 successes over eight real-world task families. In an external Being-0-aligned reference, POT-VLA achieves 44/50 successes on aligned service tasks, compared with the 37/50 success reported by the Being-0 paper. The largest gains occur on tasks requiring maintained 3D relations, suggesting that persistent object-centered state is a useful abstraction for verifiable humanoid VLA execution.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI