日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2511.18140

Observer-Actor: スパースビューガウシアンスプラッティングを用いた能動視覚模倣学習

Observer-Actor: Active Vision Imitation Learning with Sparse-View Gaussian Splatting

シェア:XThreadsFacebookLINEはてブBluesky

腕の一方を観測役として最適視点に動かし、3Dガウシアンスプラッティングで遮蔽の少ない視点から他方の腕の模倣学習ポリシーを実行する枠組みを提案。

詳しい要約

1. どんなもの?

- 能動視覚による模倣学習フレームワーク「Observer Actor (ObAct)」の提案。 - 腕にカメラを装着したdual-armロボットを対象。 - テスト時にobserver腕とactor腕の役割を動的に割り当てる。 - observer腕が最適視点へ移動し、actor腕がその観測を用いてpolicyを実行する。

2. 先行研究と比べてどこがすごい?

- 従来のstatic-camera設定と比較して大幅な改善を報告。 - trajectory transferでocclusion無し145%、occlusion有り233%改善。 - behavior cloningでocclusion無し75%、occlusion有り143%改善。 - occlusion-freeの訓練分布に近い観測でambidextrous policyを学習できる点が利点。

3. 技術・手法の肝は?

- observer腕が3枚の画像から3D Gaussian Splatting (3DGS)表現を構築。 - その3DGSを仮想的に探索して最適なcamera poseを決定し、実際にそのposeへ移動。 - actor腕はobserverの観測を用いてpolicyを実行。 - これによりobjectとgripperの明瞭性・可視性を高める。

4. どうやって有効だと検証した?

- 既存のimitation learning手法2種(trajectory transferとbehavior cloning)で評価。 - static-camera設定との比較実験を実施。 - occlusion有り/無しの条件で改善率を報告。 - 詳細な実験設定は要旨からは不明。

5. 議論はある?

- occlusion-freeの訓練分布に近づけることでrobustなpolicyが得られるという主張。 - 3枚画像からの3DGS構築や仮想探索の限界・失敗時の挙動は要旨からは不明。 - 計算コストや実時間性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- trajectory transfer - behavior cloning - 3D Gaussian Splatting (3DGS) - active vision / active perception - imitation learning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yilong Wang, Cheng Qian, Ruomeng Fan, Edward Johns

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

We propose Observer Actor (ObAct), a novel framework for active vision imitation learning in which the observer moves to optimal visual observations for the actor. We study ObAct on a dual-arm robotic system equipped with wrist-mounted cameras. At test time, ObAct dynamically assigns observer and actor roles: the observer arm constructs a 3D Gaussian Splatting (3DGS) representation from three images, virtually explores this to find an optimal camera pose, then moves to this pose; the actor arm then executes a policy using the observer's observations. This formulation enhances the clarity and visibility of both the object and the gripper in the policy's observations. As a result, we enable the training of ambidextrous policies on observations that remain closer to the occlusion-free training distribution, leading to more robust policies. We study this formulation with two existing imitation learning methods -- trajectory transfer and behavior cloning -- and experiments show that ObAct significantly outperforms static-camera setups: trajectory transfer improves by 145% without occlusion and 233% with occlusion, while behavior cloning improves by 75% and 143%, respectively. Videos are available at https://obact.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI