日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2605.11144

予測対応ガウススプラッティングによる言語誘導ピックアンドプレース操作のための予測的3D表現

Forecast-aware Gaussian Splatting for Predictive 3D Representation in Language-Guided Pick-and-Place Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

言語指示に基づくロボット操作において、タスク完了状態を明示的に予測する3D表現フレームワークを提案し、実世界のピックアンドプレースタスクで成功率を向上させた。

詳しい要約

1. どんなもの?

- 言語条件付きロボットマニピュレーションのための予測的3D表現フレームワーク Forecast-aware Gaussian Splatting (Forecast-GS) を提案。 - タスク完了状態を明示的にモデル化し、候補行動がタスク整合的な結果に至るかを評価する。 - 実世界の pick-and-place タスク (Cutter-to-Box, Apple-to-Bowl, Sponge-to-Tray) で検証。

2. 先行研究と比べてどこがすごい?

- 従来の manipulation システムは言語指示を affordance, value map, relational keypoint 制約に接地するが、現在のシーン推論に留まりタスク完了状態を明示的にモデル化しない。 - 部分観測下で空間的・意味的目標を満たす必要がある場合に、候補行動の実現可能性評価が困難という限界があった。 - Forecast-GS はタスク完了 3D 状態を予測することで、より信頼性の高い行動評価を可能にする。

3. 技術・手法の肝は?

- Forecast-aware Gaussian Splatting により、タスク完了後の 3D 状態を予測する表現を学習。 - 言語指示と 3D 知覚を橋渡しし、候補行動の最終状態を予測してランキングする。 - 自動候補選択と人間支援による候補選択の両方を評価。 - 詳細なアーキテクチャや学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- 実世界の pick-and-place タスク 3 種で、同一ロボットプラットフォームとセンシング設定の下、初期物体配置を変えて各 25 試行を実施。 - Forecast-GS の自動候補選択は成功率 21/25, 23/25, 16/25 を達成。 - ベースライン ReKep は 15/25, 19/25, 10/25 で、Forecast-GS が上回る。 - 人間支援設定では 23/25, 24/25, 19/25 に向上。

5. 議論はある?

- タスク完了 3D 状態の明示的予測が行動評価の信頼性を高めることを示唆。 - 自動選択と人間支援選択のギャップから、最終状態のランキングの堅牢性が完全自律 manipulation の重要課題として残る。 - 候補生成は有効だが自動ランキングは不完全である可能性。 - 解釈可能な橋渡しを提供するが、限界や今後の課題の詳細は要旨からは不明。

6. 次に読むべき論文は?

- ReKep (要旨で比較されているベースライン) - 言語条件付き manipulation における affordance, value map, relational keypoint 制約を用いた手法 - Gaussian Splatting を用いた 3D 表現学習 - タスク完了状態予測や最終状態ランキングに関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaixin Jia, Jiacheng Xu

分類: cs.RO

原文アブストラクト

We introduce Forecast-aware Gaussian Splatting (Forecast-GS), a predictive 3D representation framework for language-conditioned robotic manipulation. While recent manipulation systems have made progress by grounding language instructions into robot affordances, value maps, or relational keypoint constraints, they usually reason over the current scene and do not explicitly model the task-completed state. This limitation is critical when success depends on satisfying spatial and semantic goals under partial observations, where the robot must evaluate whether a candidate action leads to a feasible task-consistent outcome. We validate Forecast-GS on real-world pick-and-place manipulation tasks, including Cutter-to-Box, Apple-to-Bowl, and Sponge-to-Tray. For each task, we conduct 25 real-world trials under varied initial object configurations using the same robot platform and sensing setup. Forecast-GS with automatic candidate selection achieves success rates of 21/25, 23/25, and 16/25 on the three tasks, respectively, outperforming the ReKep baseline, which achieves 15/25, 19/25, and 10/25. A diagnostic human-assisted setting further improves success rates to 23/25, 24/25, and 19/25, suggesting that candidate generation is effective while automatic ranking remains imperfect. These results suggest that explicitly forecasting task-completed 3D states enables more reliable action evaluation, while the gap between automatic and human-assisted selection indicates that robust final-state ranking remains an important challenge for fully autonomous manipulation. Overall, Forecast-GS provides an interpretable bridge between language understanding, 3D perception, and robotic manipulation planning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI