日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.39375

現在のシーンを超えて:イベント参照型把持と能動的視点選択

Beyond the Current Scene: Event-Referential Grasping with Active View Selection

シェア:XThreadsFacebookLINEはてブBluesky

過去のイベントで物体が果たした役割に基づいて把持対象を指定する要求に対し、対象が隠れていてもイベント履歴と現在のシーンから視点を選んで把持するゼロショットシステムを提案。

詳しい要約

1. どんなもの?

イベント参照型把持(event-referential grasping)という設定を扱うロボット把持システム BeyondSCe の提案。 - 人が物体と相互作用した履歴(event history)と現在の scene が与えられたとき、過去イベントで果たした役割(role)で指定された物体や部位を同定し把持する。 - 対象が現在の視界に無い/遮蔽されている場合も想定する zero-shot システム。 - 単一の wrist-mounted RGB-D camera を用いる実機実験を想定。

2. 先行研究と比べてどこがすごい?

従来の把持研究は名前や見た目で対象を指定するものが中心で、過去イベントの役割で参照する設定は扱いが薄い。 - 遮蔽時にも event prior と現在の scene geometry を組み合わせて視点選択する点が新しい。 - 追加のタスク特化学習なしの pretrained models のみで構成。 - 実機で可視対象 76%、遮蔽対象 77% の把持成功率を達成し、最強 baseline の 40%、55% を大きく上回る。 - 高遮蔽 4 scene では把持成功率 75%→95%、平均視点数 3.35→2.20 に改善(ground-truth 3D bounding box を与えた active-perception baseline 比)。

3. 技術・手法の肝は?

event history と current scene から要求対象/部位を同定し把持位置を推定する。 - 対象が遮蔽されている場合は、history から復元した event prior と現在の scene geometry を統合し、対象が現れそうな camera viewpoint を選択する active view selection を行う。 - 事前学習済みモデルのみを使用し、タスク特化の追加学習は行わない zero-shot 構成。 - 単一の wrist-mounted RGB-D camera で運用。

4. どうやって有効だと検証した?

実機ロボット実験で、単一の wrist-mounted RGB-D camera を使用。 - 初期可視対象で把持成功率 76%、遮蔽対象で 77% を達成。 - 各条件の最強 baseline は 40%、55% であり、これを上回る。 - 高遮蔽の追加 4 scene では、ground-truth 3D bounding box を与えた active-perception baseline と比較し、把持成功率 75%→95%、平均視点数 3.35→2.20 に改善。

5. 議論はある?

要旨からは不明。 - 限界、失敗事例、計算コスト、一般化可能性、倫理面などの議論は要旨に記載がない。

6. 次に読むべき論文は?

要旨で参照・比較されている研究として、active-perception baseline(ground-truth 3D bounding box を与えたもの)と、各条件の最強 baseline が挙げられる。 - 関連手法として event-referential grasping、active view selection、zero-shot robotic grasping、pretrained models を用いた把持が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hyunjoon Lee, Haebeom Jung, Eunsung Cha, Daeun Lee, Yu-Chiang Frank Wang, Jaesung Choe, Jaesik Park

分類: cs.RO, cs.CV

原文アブストラクト

A robot that observes people interacting with objects should be able to carry out later requests that refer back to those interactions. Such requests may specify a grasp target by the role it played in a past event rather than by its name or appearance. Moreover, the target may no longer be visible when the robot is asked to act. We present BeyondSCe, a zero-shot robotic grasping system for this event-referential setting. Given the event history and the current scene, the system identifies the requested object or part and localizes it for grasping. If the target is occluded, it combines an event prior recovered from the history with current scene geometry to select camera viewpoints likely to reveal the target. The system uses pretrained models without additional task-specific training. In real-robot experiments with a single wrist-mounted RGB-D camera, it achieves grasp success rates of 76% and 77% for initially visible and occluded targets, respectively, compared with 40% and 55% for the strongest baseline in each condition. On four additional scenes with heavy occlusion, it increases grasp success rates from 75% to 95% while reducing the mean number of views from 3.35 to 2.20, compared with an active-perception baseline given the target's ground-truth 3D bounding box.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI