日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2508.03099

Point2Act: マルチモーダルLLMの効率的な3D蒸留によるゼロショット文脈認識把持

Point2Act: Efficient 3D Distillation of Multimodal LLMs for Zero-Shot Context-Aware Grasping

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダル大規模言語モデルを軽量な2D点レベル誘導に蒸留し、多視点集約で3D関連性場を構築することで、未見環境でも文脈に応じた把持位置を20秒以内に推定する手法を提案。

詳しい要約

1. どんなもの？

- 自然言語で記述されたタスク文脈に関連する3D action pointを直接取得する手法 Point2Act の提案 - Multimodal Large Language Models (MLLMs) を活用し、未見環境での zero-shot タスク実行を目指す - 2D 画像の意味理解を 3D 空間の行動位置へ橋渡しする枠組み - 把持(grasping)を含む実ロボット manipulation を想定した full-stack pipeline

2. 先行研究と比べてどこがすごい？

- 大規模画像・言語データ由来の semantics は 2D 文脈理解を与えるが、blurry な 2D 領域に留まり精密な 3D 行動位置の特定が困難という課題があった - 提案の 3D relevancy fields は高次元特徴を直接用いず、軽量な 2D point-level guidance を効率的に付与する点が異なる - multi-view aggregation により occlusion 等の幾何的曖昧性や言語記述の意味的不確実性に起因する misalignment を補償 - 出力領域が highly localized で、fine-grained 3D 空間文脈を推論し明示的な行動位置へ直接転送可能

3. 技術・手法の肝は？

- MLLMs をクエリしてタスク関連の 2D point-level guidance を得る - これを 3D relevancy fields として高次元特徴を介さず効率的に 3D へ distill - multi-view aggregation で幾何的曖昧性(occlusion 等)や意味的不確実性による misalignment を補償 - on-the-fly なシーン再構成上で、出力領域を把持姿勢抽出に接続 - pipeline は capturing、MLLM querying、3D reconstruction、grasp pose extraction から構成

4. どうやって有効だと検証した？

- full-stack pipeline 全体で capturing から grasp pose extraction までを実行し、20 秒未満で spatially grounded な応答を生成できることを示す - 具体的なデータセット名・ベースライン・定量指標は要旨からは不明 - 実 manipulation タスクへの適用可能性を実時間性の観点から主張

5. 議論はある？

- 20 秒未満という処理時間が実用的 manipulation に資する点を強調 - occlusion や言語記述の意味的不確実性への対処を multi-view aggregation に依拠しており、その限界や失敗条件の詳細は要旨からは不明 - 定量評価の詳細や比較対象は要旨からは不明

6. 次に読むべき論文は？

- Multimodal Large Language Models (MLLMs) を用いた zero-shot ロボット manipulation の関連研究 - 3D relevancy fields や 2D-to-3D distillation を用いた grounding 手法 - multi-view aggregation による 3D 位置推定の関連手法 - 具体的な参照論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sang Min Kim, Hyeongjun Heo, Junho Kim, Yonghyeon Lee, Young Min Kim

分類: cs.RO

原文アブストラクト

We propose Point2Act, which directly retrieves the 3D action point relevant to a contextually described task, leveraging Multimodal Large Language Models (MLLMs). Foundation models opened the possibility for generalist robots that can perform a zero-shot task following natural language descriptions within an unseen environment. While the semantics obtained from large-scale image and language datasets provide contextual understanding in 2D images, the rich yet nuanced features deduce blurry 2D regions and struggle to find precise 3D locations for actions. Our proposed 3D relevancy fields bypass the high-dimensional features and instead efficiently imbue lightweight 2D point-level guidance tailored to the task-specific action. The multi-view aggregation effectively compensates for misalignments due to geometric ambiguities, such as occlusion, or semantic uncertainties inherent in the language descriptions. The output region is highly localized, reasoning fine-grained 3D spatial context that can directly transfer to an explicit position for physical action at the on-the-fly reconstruction of the scene. Our full-stack pipeline, which includes capturing, MLLM querying, 3D reconstruction, and grasp pose extraction, generates spatially grounded responses in under 20 seconds, facilitating practical manipulation tasks. Project page: https://sangminkim-99.github.io/point2act/

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →