日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.31770

GPT-6-Astraによるロボットマニピュレーション:身体知識・経験再利用・創発スキル・Sim2Real転移

Robot Manipulation with GPT-6-Astra: Body Knowledge, Experience Reuse, Emergent Skills, and Sim2Real Transfer

シェア:XThreadsFacebookLINEはてブBluesky

GPT-6-Astraで制御するロボットに身体情報や過去の成功経験を与えることで、エレベータボタン操作タスクの実行時間が大幅に短縮され、シミュレーションから実機への転移も確認された。

詳しい要約

1. どんなもの?

- GPT-6-Astraで制御するXLeRobotによるロボット操作実験 - シミュレーションと実機のelevator-buttonタスクを対象 - 身体知識・成功経験・実行可能スキルが実行速度に与える影響を検討 - タスクプロンプト・試行データ・獲得スキルをGitHubで公開

2. 先行研究と比べてどこがすごい?

- 汎用マルチモーダルエージェントはロボット制御プログラムを書けるが、反復探索とモデル媒介行動選択で実行が遅い - 本研究は外部の身体知識・成功経験・実行可能スキルで改善を図る - 身体情報とカメラ情報で平均完了時間を57.4%削減 - 同期した行動・状態記録の画像で68.6%削減 - 経験の再利用で58-63%削減、sim2realでも53.0%/49.9%削減

3. 技術・手法の肝は?

- XLeRobotをGPT-6-Astraで制御 - 機械可読な身体記述と同期デモンストレーションを提供 - エージェント生成の視覚フィードバックルーチンを再利用可能スキル化 - 現在の画像から行動を適応 - シミュレーションXML資産とシミュレーション経験を実機に転移

4. どうやって有効だと検証した?

- 30回の固定開始シミュレーション試行 - 10-100cm変位した開始位置での9ペア比較(18試行) - 経験実験中のGPT-6-Astraによる視覚フィードバックプログラム生成 - 研究者リファクタリング版で27回のシミュレーション試行 - 実機12試行でsim2real再利用を検証

5. 議論はある?

- 汎用操作実験をGPT-6-Astraで構築する実用的方法を提案 - 身体記述と同期デモの提供、有用なフィードバックルーチンのスキル化が有効 - エージェントは現在の画像から行動を適応 - 要旨からは不明な点として、限界や失敗事例の詳細は述べられていない

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の定番として、RT-1、RT-2、PaLM-E、SayCan、Code as Policiesなどが考えられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sida He, Lingxi Xie, Yunning Cao, Pengfei Chen, Kaiwen Duan, Jiannan Ge, Xinyue Huo, Jiacheng Shao, Qi Tian

分類: cs.RO, cs.AI, cs.CL, cs.CV, cs.LG

原文アブストラクト

General-purpose multimodal agents can write robot-control programs, but repeated exploration and model-mediated action selection can make execution slow. We study how external body knowledge, successful experience, and executable skills improve an XLeRobot controlled by GPT-6-Astra in a simulated and a physical elevator-button task. In 30 fixed-start simulation trials, complete robot geometry and camera information reduce mean completion time by 57.4% relative to a baseline with only the common control interface and no prior experience; images with synchronized action and state records reduce it by 68.6% without additional body assets. In nine paired comparisons (18 trials) at starts displaced by 10-100 cm, experience recorded at the original start reduces mean time by 58-63% relative to no experience, demonstrating generalization to the tested new starting positions. During experience experiments, GPT-6-Astra spontaneously generates a short visual-feedback program. Researcher-refactored versions reduce mean local-task time by 29-31% in 27 simulation trials. Finally, 12 real-robot trials using operator-confirmed button contact demonstrate sim2real reuse: at a shared nominal start, simulation XML assets and simulation experience reduce mean time by 53.0% and 49.9%, respectively; real experience also transfers to two new starts. These results suggest a practical way to build general-purpose manipulation experiments around GPT-6-Astra: supply machine-readable body descriptions and synchronized demonstrations, and turn useful agent-generated feedback routines into reusable skills, while the agent adapts actions from current images. We release all task prompts, trial-level experimental data, and acquired skill implementations at https://github.com/hesd10/astra-robot-sim2real.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI