日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.19236

SENTINEL: ヒューマノイド全身制御のための完全エンドツーエンド言語行動モデル

SENTINEL: A Fully End-to-End Language-Action Model for Humanoid Whole Body Control

シェア:XThreadsFacebookLINEはてブBluesky

言語指示と固有感覚入力から低レベル行動を直接生成するエンドツーエンドモデルを構築し、シミュレーションと実機でヒューマノイドの全身制御を実現した。

詳しい要約

1. どんなもの?

- ヒューマノイドの全身制御のための完全end-to-endのlanguage-actionモデル「SENTINEL」を提案。 - 言語コマンドとproprioceptive入力を低レベルactionに直接マッピングし、中間表現を排除。 - flow matchingでaction chunkを生成し、residual action headで実世界展開向けに精緻化。 - シミュレーションと実機の両方で意味理解と安定実行を実現。 - 入力をテキスト化することでマルチモーダル拡張も可能。

2. 先行研究と比べてどこがすごい?

- 従来のteleoperationは完全に人間駆動で、モジュール型生成パイプラインは言語理解と物理実行が分離され、言語コマンドと物理行動の緊密な整合性に欠ける。 - SENTINELは完全end-to-endで言語から低レベルactionまでを直接学習し、中間表現なしで整合性を向上。 - 大規模データセットをpretrained whole body controllerを用いたシミュレーションでの人間動作追跡とテキスト注釈から構築。 - flow matchingとresidual action headにより、実世界展開可能な安定したaction生成を実現。

3. 技術・手法の肝は?

- 大規模データセット構築:シミュレーションでpretrained whole body controllerを用いて人間動作を追跡し、テキスト注釈を付与。 - モデルは言語コマンドとproprioceptive入力を直接低レベルactionにマッピング(中間表現なし)。 - flow matchingによりaction chunkを生成し、residual action headで実世界向けに精緻化。 - マルチモーダル拡張は入力をテキストに変換することで対応。

4. どうやって有効だと検証した?

- シミュレーションと実世界のヒューマノイドロボットの両方で評価。 - 強い意味理解と安定した実行を実証。 - 具体的な評価指標や比較実験の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - ただし、end-to-endアプローチの利点や実世界展開における課題、マルチモーダル拡張の可能性について議論があると推測されるが、要旨には明記されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、teleoperation、モジュール型生成パイプライン、flow matching、residual action head、pretrained whole body controllerが挙げられる。 - 同分野の定番として、humanoid whole-body controlやlanguage-conditioned imitation learningの論文を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuxuan Wang, Haobin Jiang, Shiqing Yao, Ziluo Ding, Zongqing Lu

分類: cs.RO, cs.AI

原文アブストラクト

Existing humanoid control systems often rely on teleoperation or modular generation pipelines that separate language understanding from physical execution. However, the former is entirely human-driven, and the latter lacks tight alignment between language commands and physical behaviors. In this paper, we present SENTINEL, a fully end-to-end language-action model for humanoid whole-body control. We construct a large-scale dataset by tracking human motions in simulation using a pretrained whole body controller, combined with their text annotations. The model directly maps language commands and proprioceptive inputs to low-level actions without any intermediate representation. The model generates action chunks using flow matching, which can be subsequently refined by a residual action head for real-world deployment. Our method exhibits strong semantic understanding and stable execution on humanoid robots in both simulation and real-world deployment, and also supports multi-modal extensions by converting inputs into texts.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI