日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2610.33705

開かれた世界での運動法則推定:視覚言語の事前知識と触覚による隠れた物理特性の把握

Open-World Law-to-Action: Vision-Language Priors and Touch for Parts with Hidden Physics

シェア:XThreadsFacebookLINEはてブBluesky

VLMが可動部品の運動法則の候補を提案し、触覚でオンラインにベイズ推定することで、未知の家庭環境でもドアや引き出しを適切に開けるロボットを実現した。

詳しい要約

1. どんなもの?

- 未知の家庭環境でロボットが扉・引き出し・蓋・蛇口などを操作するための **Open-World Law-to-Action (L2A)** を提案する研究。 - 画像からは分からない物体の physics(移動距離・抵抗・ロック要因)を扱う。 - 「半分だけ優しく開けて」のような指示は physics に依存する。 - VLM が可動部ごとに運動・law of motion の項・ロック要因を提案し、それを prior として touch で覆せる枠組み。 - 実験はすべて simulation で、一部シーンで開発し held-out シーンで一度だけ実行。

2. 先行研究と比べてどこがすごい?

- 要旨からは不明(先行研究との直接比較は明示されていない)。 - 特徴として、VLM の提案を **floor 付き prior** として扱い touch で常に覆せる点を挙げている。 - 1方向・2方向に動く部品に対応し、未知の部品や運動がロック要因になる仮説も保持する。 - touch だけではこのロック仮説を棄却できないことを証明し、追加観測の価値判断も導出。 - 一定荷重と摩擦は一方向運動中には区別できないことを示す。

3. 技術・手法の肝は?

- **VLM** が各可動部の運動・law of motion の項・ロック要因を提案し、prior 化する。 - prior には floor を設け、touch 情報で必ず覆せるようにする。 - **Bayesian linear regression** と closed-form evidence により law を online 同定する。 - 1方向運動と2方向運動の部品に対応。 - 未知の部品・運動がターゲットをロックする仮説を保持する。 - touch のみではロック仮説を棄却できないことを証明し、追加で「もう一度見る」コスト判断を導出。

4. どうやって有効だと検証した?

- すべて simulation で、開発シーンと held-out シーンに分けて検証。 - 新しい kitchen では VLM 提案から 80% のタスクを完了、全部品既知なら 98%。 - 新項が必要な物体で提案 physics が成功率を 400 エピソード中 353 から 378–383 に向上。 - mixed scene で second look が 366 タスク中 284 から 329 に向上。 - simulator から何も受け取らない mobile robot が新シーンで 100 リクエスト中 70 完了、simulator が各部品を教える場合は 62(held-out テスト間の1変更後)。

5. 議論はある?

- touch だけでは未知のロック仮説を棄却できないことを証明。 - 一方向運動中は一定荷重と摩擦を区別できないことを示す。 - 追加観測(second look)のコスト価値判断を導出。 - 実験は simulation のみで、実機検証は要旨からは不明。 - held-out テスト間の変更が1回あり、その影響は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として **Vision-Language Model (VLM)**、**Bayesian linear regression**、closed-form evidence を用いた online 同定、touch-based な物理推定、open-world ロボット操作の研究が次に読む候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mohamed A. Mabrok

分類: cs.RO

原文アブストラクト

A robot in a home it has never seen must open doors, drawers, lids and taps whose physics a picture does not show. Instructions such as "open the drawer halfway, gently" depend on that physics: how far a part travels, how it resists, and what locks it. We present Open-World Law-to-Action (L2A). A vision-language model (VLM) proposes, for each movable part, its motions, the terms of its law of motion, and what may lock it. Each proposal becomes a prior with a floor, so that touch can always overturn it. The robot identifies each part's law online by Bayesian linear regression with closed-form evidence, for parts that move in one way or in two, and keeps a hypothesis that an unseen part or motion locks the target. We prove that touch alone cannot rule this hypothesis out, derive when another look is worth its cost, and show that a constant load and friction cannot be told apart while a part moves one way. All experiments are in simulation, developed on some scenes and run once on held-out ones. In new kitchens the robot completes 80% of tasks from the VLM's proposals, against 98% when every part is known. Proposed physics raises success on objects that need new terms from 353 to 378-383 of 400 episodes, and a second look raises success in mixed scenes from 284 to 329 of 366 tasks. A mobile robot that takes nothing from the simulator completes 70 of 100 requests in new scenes, against 62 when the simulator says which part each box is (after one change made between two held-out tests).

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI