日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.13244

物理カーネル:暗所マニピュレーションのための構造化視覚潜在表現

Physical Kernel: Structured Visual Latents for Dark Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

短時間の照明下での書き込みで視覚潜在z0を符号化し、その後は画素入力なしで方策と開ループ動力学が接触の多いスキルを実行できることを示した研究。

詳しい要約

1. どんなもの?

本研究は dark manipulation と呼ぶ設定を扱う。短い lit Write で z0 = Enc(rgb) を符号化した後、policy pi(z) と open-loop dynamics f(z,a) により、以降ピクセル無し(dark_f)で contact-rich な技能を完遂する。ManiSkill StackCube で評価し、five-rung chain(near_A -> grasped -> lifted -> on_B -> stacked)の成功率を測る。

2. 先行研究と比べてどこがすごい?

- per-step lit_reenc は 35.6%、freeze/encode_black は 0% に対し dark_f は 68.1% stacked。 - 共有 Write->HOLD protocol で occlusion や camera-aligned GT contact-neighbor masks により lit lift は 43% から 0% に落ちるが dark_f は 82.5% を維持。 - matched Dreamer-style/pixel nulls は privileged geom 無しで 0% のまま。

3. 技術・手法の肝は?

- 短い lit Write で z0 = Enc(rgb) を符号化。 - policy pi(z) と open-loop dynamics f(z,a) でピクセル無しに技能を完遂。 - 専用の pi_write を用意し vision-budget stacked 35% を達成。 - 評価は ManiSkill StackCube、seed packs 0/1000、n=160 など。

4. どうやって有効だと検証した?

- ManiSkill StackCube(n=160; seed packs 0/1000)で five-rung chain の成功率を比較。 - 共有 Write->HOLD protocol(n=40)で occlusion と camera-aligned GT contact-neighbor masks の影響を検証。 - action shuffling で dynamics MSE が約 9.4x 増加。 - write-time appearance shifts(night)で encoding が破綻(0% stacked)するが HOLD 中の同 shift では dark_f lift 不変。 - Write length Tw は stop phase 到達後は平坦、早期停止や write-time blur/JPEG は stacked を急減。 - pi_write は vision-budget stacked 35%(n=80)。

5. 議論はある?

- privileged state-RSSM MPC は 9D dark observations で約 35% stacked に達するが、これは stronger-observation null であり matched visual baseline ではない。 - write-time appearance shifts は encoding を壊すが HOLD 中は影響しない。 - Write length Tw の効果は stop phase 到達後は平坦。 - その他の議論は要旨からは不明。

6. 次に読むべき論文は?

- Dreamer-style/pixel nulls - privileged state-RSSM MPC - ManiSkill StackCube - per-step lit_reenc - freeze/encode_black

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinting Hang, Hong Li, Zhenhui Cai, Zhihao Zhao, Jian He

分類: cs.RO, cs.CV

原文アブストラクト

We study dark manipulation: after a brief lit Write encodes z0 = Enc(rgb), a policy pi(z) and open-loop dynamics f(z,a) complete contact-rich skills without further pixels (dark_f). On ManiSkill StackCube (n=160; seed packs 0/1000), dark_f attains 68.1% stacked on the five-rung chain (near_A -> grasped -> lifted -> on_B -> stacked), compared with 35.6% for per-step lit_reenc and 0% for freeze/encode_black. On a shared Write->HOLD protocol (n=40), occlusion and camera-aligned GT contact-neighbor masks drive lit lift from 43% to 0%, while dark_f holds 82.5%; shuffling actions inflates dynamics MSE by ~9.4x; write-time appearance shifts break encoding (night: 0% stacked), yet the same shifts during HOLD leave dark_f lift unchanged; Write length Tw is flat once the stop phase is reached, while earlier stops and write-time blur/JPEG sharply cut stacked. A dedicated pi_write reaches 35% vision-budget stacked (n=80); matched Dreamer-style/pixel nulls without privileged geom stay at 0%. Privileged state-RSSM MPC reaches ~35% stacked with 9D dark observations -- a stronger-observation null, not a matched visual baseline.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI