日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2506.16012

DualTHOR: 偶発的失敗を考慮した計画のための双腕ヒューマノイドシミュレーションプラットフォーム

DualTHOR: A Dual-Arm Humanoid Simulation Platform for Contingency-Aware Planning

シェア:XThreadsFacebookLINEはてブBluesky

家庭環境で双腕ヒューマノイドロボットが協調作業するための物理シミュレータを構築し、低レベル実行時の偶発的失敗も再現することで、視覚言語モデルのロバスト性を評価できるようにした。

詳しい要約

1. どんなもの?

- 本論文は、双腕ヒューマノイドロボット向けの物理ベースシミュレーション平台「DualTHOR」を提案する。 - AI2-THORを拡張し、実世界のロボットアセット、双腕協調タスクスイート、ヒューマノイド用inverse kinematicsソルバーを備える。 - 低レベル実行の確率的性質を考慮したcontingencyメカニズムを導入し、実世界への転移性向上を目指す。 - 家庭環境におけるVLMsのロバスト性と汎化性を評価可能にする。

2. 先行研究と比べてどこがすごい?

- 既存のシミュレーション平台は簡略化されたロボット形態を用い、低レベル実行の確率的性質を無視することが多い。 - DualTHORは実世界のロボットアセットと双腕協調タスクを提供し、物理ベースの低レベル実行による失敗(contingency)を組み込む点が新しい。 - これにより、実世界ロボットへの転移性を制限する要因を緩和し、より現実的な評価を可能にする。

3. 技術・手法の肝は?

- AI2-THORを拡張した物理ベースシミュレーション平台を構築。 - 実世界のロボットアセット、双腕協調のタスクスイート、ヒューマノイド用inverse kinematicsソルバーを統合。 - contingencyメカニズムにより、物理ベースの低レベル実行における潜在的な失敗を組み込む。 - これにより、VLMsのロバスト性と汎化性を家庭環境で総合的に評価できる。

4. どうやって有効だと検証した?

- 広範な評価を実施し、現在のVLMsが双腕協調に苦戦し、contingencyを含む現実的な環境で限られたロバスト性しか示さないことを明らかにした。 - この結果から、より能力の高いVLMs開発における本シミュレータの重要性を示唆。 - 具体的な評価指標や被験VLMsの詳細は要旨からは不明。

5. 議論はある?

- 現在のVLMsは双腕協調やcontingencyを含む現実的環境でのロバスト性に課題があることが示された。 - 本シミュレータがembodiedタスク向けのより能力の高いVLMs開発に重要であると議論。 - 具体的な限界や今後の課題についての詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている研究は明示されていないが、関連手法としてAI2-THOR(拡張元)やVLMs(評価対象)が挙げられる。 - 同分野の定番として、embodied AI向けシミュレーション平台(例: Habitat, iGibson)や双腕ロボットの模倣学習研究を次に読むべき候補として一般名で挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Boyu Li, Siyuan He, Hang Xu, Haoqi Yuan, Yu Zang, Liwei Hu, Junpeng Yue, Zhenxiong Jiang, Pengbo Hu, Börje F. Karlsson, Yehui Tang, Zongqing Lu

分類: cs.RO

原文アブストラクト

Developing embodied agents capable of performing complex interactive tasks in real-world scenarios remains a fundamental challenge in embodied AI. Although recent advances in simulation platforms have greatly enhanced task diversity to train embodied Vision Language Models (VLMs), most platforms rely on simplified robot morphologies and bypass the stochastic nature of low-level execution, which limits their transferability to real-world robots. To address these issues, we present a physics-based simulation platform DualTHOR for complex dual-arm humanoid robots, built upon an extended version of AI2-THOR. Our simulator includes real-world robot assets, a task suite for dual-arm collaboration, and inverse kinematics solvers for humanoid robots. We also introduce a contingency mechanism that incorporates potential failures through physics-based low-level execution, bridging the gap to real-world scenarios. Our simulator enables a more comprehensive evaluation of the robustness and generalization of VLMs in household environments. Extensive evaluations reveal that current VLMs struggle with dual-arm coordination and exhibit limited robustness in realistic environments with contingencies, highlighting the importance of using our simulator to develop more capable VLMs for embodied tasks. The code is available at https://github.com/ds199895/DualTHOR.git.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI