日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2611.12678

ハンズのライブラリ:世界モデルではなく手を修正せよ

Library of Hands: Fix the Hands, Not the World Model

シェア:XThreadsFacebookLINEはてブBluesky

世界モデルを凍結したまま、コマンドから実際の動作への対応(手)だけを学習なしで補正する手法を提案し、カメラ移動やコントローラ変更時でも成功率を大幅に改善した。

詳しい要約

1. どんなもの?

- ロボティクス/フィジカルAIにおける world model ベースの planner のロバスト性問題を扱う研究 - world model は行動後のシーン変化を予測し、planner が goal 到達のための行動を探索する枠組み - camera 移動や controller 変更で同じ command が異なる動作になる問題(例: command を90度回転させると LeWM world model の frozen planner の成功率が77.5%から7.8%へ低下)に対処 - Library of Hands (LoH) を提案: world model を frozen のまま、command から applied action への写像(hand)のみを補正する training-free 手法

2. 先行研究と比べてどこがすごい?

- 既存の修正法は model の再学習、training data の必要性、または set-up が戻った際に忘れてしまうという制約がある - LoH は training-free で world model を frozen に保ち、hand のみを補正する点が新しい - 追加 sensor を必要とせず、frozen model を通して hand を読み取る - 同定した hand を保存するため、再登場した set-up を再学習せず認識できる - 何も変化がない場合の性能低下は0.6ポイントのみに抑える

3. 技術・手法の肝は?

- world model を frozen のまま維持し、command から applied action への写像(hand)のみを補正 - 追加 sensor なしで、frozen model を用いて hand を読み取る: 2枚の camera 画像間の変化を最もよく説明する action を探索(reading) - 同定した各 hand を保存し、再登場する set-up を再学習ではなく認識に利用 - 変化検出時のみ hand を補正する仕組みで、変化がない場合は既存挙動を維持

4. どうやって有効だと検証した?

- closed-loop テストで3つの simulated task において成功率が28.6%から62.3%へ倍以上に向上 - 何も変化がない場合の性能低下は0.6ポイントのみ - 変更なしで他の2つの world model でも動作 - 実 robot data で pretrained された3モデル中2モデルでも動作 - 利得は reading の品質が高いほど増大

5. 議論はある?

- 実 robot data で pretrained された3モデル中1モデルでは動作しなかった点は要旨からは詳細不明 - reading の品質に利得が依存するため、reading 精度の限界や失敗条件については要旨からは不明 - 保存した hand の管理・選択・スケーリングに関する議論は要旨からは不明 - 実機 closed-loop での検証範囲は要旨からは不明

6. 次に読むべき論文は?

- LeWM world model(比較対象として明示) - 他の2つの world model(要旨で併用検証、名称は要旨からは不明) - 実 robot data で pretrained された3モデル(名称は要旨からは不明) - world model ベース planning の関連手法(同分野の定番として Dreamer 系や model-based RL の planner など)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hasaan Ahmad, Qizhen Ying, Yuxuan Sun, Tianjin Huang, Guangming Wang

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

A world model predicts how a scene changes after an action, and a planner uses it to search for actions that reach a goal. If the camera moves or the controller changes, the same command moves the robot differently: when its commands are turned by 90 degrees, a frozen planner with the LeWM world model that succeeds in 77.5% of episodes succeeds in only 7.8%. Current fixes retrain the model, need training data, or forget a set-up when it returns. We propose Library of Hands (LoH), a training-free method that keeps the world model frozen and corrects only the map from commands to applied actions, which we call the hand. LoH reads the hand through the frozen model, with no extra sensor: it finds the action that best explains the change between two camera images (a reading). It stores every hand it identifies, so a returning set-up is recognised rather than re-learnt. In closed-loop tests, LoH more than doubles success on three simulated tasks, from 28.6% to 62.3%, and loses only 0.6 percentage points when nothing changes. It also works, unchanged, with two other world models and on two of three models pretrained on real robot data, and its gain grows with the quality of its readings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI