日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.23418

HEARTH: 温度を考慮したロボットマニピュレーションのための物体中心RGB-熱-3Dデータセット

HEARTH: An Object-Centric RGB-Thermal-3D Dataset for Temperature-Aware Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

90物体のRGB・熱・3D形状を対応付けたデータセットを構築し、VLAモデルに熱情報を加えると温度依存の物体選択タスクの成功率が35%から75%に向上することを示した。

詳しい要約

1. どんなもの?

- 言語誘導型ロボット操作のための物体中心RGB-熱-3DデータセットHEARTHを提案。 - 18の日常カテゴリから90の物理オブジェクト、145の物体状態を収録。 - 表面温度を再構成メッシュにマッピングし、生温度測定、カメラパラメータ、RGBテクスチャメッシュ、熱テクスチャを含む。 - LIBERO由来の3タスクを構築し、1,200デモンストレーションを収集。 - 事前学習済みVLAモデルπ_{0.5}のファインチューニングに使用。

2. 先行研究と比べてどこがすごい?

- ロボット学習用物体データセットは、測定温度を物体の外観や形状と関連付けることがほとんどなかった。 - HEARTHは温度を外観・幾何と結びつけた物体中心RGB-熱-3Dデータセットを提供。 - 温度依存の物体選択タスクにおいて、RGBのみのベースラインの成功率35.0%から熱観測を追加すると75.0%に向上。 - これにより温度関連指示に従うロボットポリシーの学習に有用であることを示す。

3. 技術・手法の肝は?

- カメラキャリブレーションとポーズ転送により、見かけの表面温度を再構成メッシュにマッピングするパイプライン。 - データセットには生温度測定、カメラパラメータ、RGBテクスチャメッシュ、シミュレーション用熱テクスチャを含む。 - これらのアセットを用いてLIBERO由来の3タスクを構築し、1,200デモンストレーションを収集。 - 事前学習済みVLAモデルπ_{0.5}をファインチューニング。

4. どうやって有効だと検証した?

- LIBERO由来の3タスクを構築し、1,200デモンストレーションを収集。 - 事前学習済みVLAモデルπ_{0.5}をファインチューニング。 - アブレーション研究で、温度依存の物体選択タスクにおいて、RGBのみのベースラインの成功率35.0%から熱観測を追加すると75.0%に向上。 - これによりHEARTHが温度関連指示に従うロボットポリシーの学習に有用であることを実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- LIBERO - π_{0.5} - その他のVLAモデル(一般名)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuning Su, Borui Li, Yonghao Shi, Bofei Liu, Xing-Dong Yang

分類: cs.RO

原文アブストラクト

Language-guided manipulation can depend on physical properties that visible appearance does not reveal. Temperature is one such property, but object datasets for robot learning rarely associate measured temperatures with object appearance and geometry. We present HEARTH, an object-centric RGB-thermal-3D dataset of 90 physical objects from 18 everyday categories, comprising 145 captured object states. Our pipeline maps apparent surface temperatures onto reconstructed meshes through camera calibration and pose transfer. The dataset includes raw temperature measurements, camera parameters, RGB-textured meshes, and thermal textures for simulation. We use these assets to construct three LIBERO-derived tasks and collect 1,200 demonstrations for fine-tuning a pretrained vision-language-action (VLA) model, $π_{0.5}$. In an ablation study, adding thermal observations to the VLA increases success on temperature-dependent object-selection tasks from 35.0% for the RGB-only baseline to 75.0%. These results demonstrate the utility of HEARTH for training robot policies to follow temperature-related instructions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI