ベンチマーク/Sim2Real2026/10/25arXiv:2610.34527

接触の多いマニピュレーションでGPT-6 Astraはどこまで登れるか？PhysLadder：物理的相互作用のための階層的で対応の取れたSim-Realベンチマーク

How High Can GPT-6 Astra Climb in Contact-Rich Manipulation? PhysLadder: A Hierarchical, Matched Sim-Real Benchmark for Physical Interaction

シェア:X Threads Facebook LINE はてブ Bluesky

接触の多い家事タスク16件を3段階の難易度で実機とシミュレーションの両方で評価するベンチマークPhysLadderを提案し、GPT-6 Astraのゼロショット性能が難易度上昇とともに低下する様子を明らかにした。

詳しい要約

1. どんなもの？

- 本研究は PhysLadder と名付けた、contact-rich manipulation における物理的相互作用能力を評価するための階層的 Sim-Real benchmark を提案する。 - 16 の household tasks を、接触選択と幾何学的整合(L1)、持続接触下の力調整(L2)、接触再構成と力調整の協調(L3)という累積的な 3 段階に分類する。 - 各タスクは物理的・視覚的に一致させた simulated 環境と real-world 環境の両方に実装され、タスク定義と成功基準を共有する。 - GPT-6 Astra を zero-shot で各環境・各タスク 3 試行評価する。

2. 先行研究と比べてどこがすごい？

- 要旨からは不明(先行研究との直接比較は記述されていない)。 - 特徴として、物理的・視覚的に matched な Sim-Real 環境と共有タスク定義・成功基準を備え、接触要求の段階を L1〜L3 に階層化している点が挙げられる。 - 同一タスクを simulation と real-world の両方で評価し、環境間の成功数の一致度を報告している。

3. 技術・手法の肝は？

- 16 の household tasks を L1(接触選択・幾何学的整合)、L2(持続接触下の力調整)、L3(接触再構成と力調整の協調)の累積 3 段階に構成する。 - 各タスクを物理的・視覚的に matched な simulated 環境と real-world 環境に実装し、タスク定義と成功基準を共有する。 - GPT-6 Astra を zero-shot で各タスク 3 試行、各環境で評価する。

4. どうやって有効だと検証した？

- GPT-6 Astra の zero-shot 評価を各タスク 3 試行で実施する。 - real-world の成功率は L1 80.0%、L2 47.6%、L3 0.0%。simulation は L1 66.7%、L2 47.6%、L3 0.0%。 - 16 タスク中 10 タスクで環境間の成功数が一致し、残り 6 タスクは 3 試行中 1 成功の差にとどまる。 - 両環境で spatial reasoning、contact selection、force regulation、coordination の困難が再発し、局所的な物理的進展がタスク完了に蓄積しにくいと報告する。

5. 議論はある？

- 接触要求の増大に伴う Astra の観測された能力境界を特徴づける。 - このモデルについて、matched simulation が持続的・協調的な物理相互作用を研究するための再現可能でスケーラブルな testbed として支持されると述べる。 - spatial reasoning、contact selection、force regulation、coordination の困難が局所進展の蓄積を妨げると指摘する。 - 限界や今後の課題の詳細は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照・比較されている個別研究は挙げられていない。 - 関連手法として contact-rich manipulation、Sim-Real transfer、force regulation、benchmark 設計の定番研究を次に読む候補とする(具体名は要旨からは不明)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haibao Yu, Jiaqi Meng, Zijian Zhang, Bowen Jing, Lei Yang, Yue Hu, Chenchen Ge, Yiming Hou, Chenbo Xin, Dawen Ye, Haifang Qin, Jin Li, Weitao Zhou, Jianing Qiu, Jiankai Sun, Dandan Zhang, Zaiqing Nie, Ping Luo, Ding Zhao

分類: cs.RO

原文アブストラクト

We introduce PhysLadder, a hierarchical Sim-Real benchmark for evaluating physical interaction capabilities in contact-rich manipulation. Its 16 household tasks span three cumulative levels: contact selection and geometric alignment (L1), force regulation within sustained contact (L2), and coordinated contact reconfiguration and force regulation (L3). Each task is instantiated in physically and visually matched simulated and real-world environments, with shared task definitions and success criteria. We evaluate GPT-6 Astra zero-shot with three trials per task in each environment. Real-world success rates decline from 80.0% at L1 to 47.6% at L2 and 0.0% at L3, with corresponding simulation rates of 66.7%, 47.6%, and 0.0%. Ten of the 16 tasks have identical success counts across environments; the remaining six differ by one success out of three trials. Across both environments, recurring difficulties in spatial reasoning, contact selection, force regulation, and coordination often prevent local physical progress from accumulating into task completion. These findings characterize Astra's observed capability boundary across increasing interaction demands and, for this model, support matched simulation as a repeatable, scalable testbed for studying the sustained, coordinated physical interactions that limit reliable manipulation.

arXivで原文を読む →arXiv概要ページ

← 論文一覧