日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2603.09121

DexHiL：巧みな操作のための視覚-言語-行動モデル事後学習における人間参加型フレームワーク

DexHiL: A Human-in-the-Loop Framework for Vision-Language-Action Model Post-Training in Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

腕と多指ハンドの協調操作を可能にする人間参加型フレームワークを提案し、実行中の人間による修正を活用した事後学習で成功率を平均25%向上させた。

詳しい要約

1. どんなもの？

- Vision-Language-Action (VLA) モデルを特定の複雑な下流タスクに展開するための post-training フレームワーク。 - 特に dexterous manipulation（多指ハンド操作）に焦点を当て、Human-in-the-Loop (HiL) 学習を統合。 - 腕と dexterous hand の協調的な介入を単一システムで可能にする初の統合 arm-hand HiL フレームワーク。 - 実ロボット実験で有効性を検証。

2. 先行研究と比べてどこがすごい？

- 従来の VLA モデルは汎化能力を示すが、特定の複雑タスクでは post-training が必要。 - 既存の HiL 学習はロボットポリシー改善に有効だが、dexterous manipulation への拡張は困難だった。 - 多指制御は高次元で接触が多く、実行分布が標準的な腕運動と大きく異なるため、既存の dexterous VLA システムは信頼性と適応性に限界。 - DexHiL はこれらを克服し、腕と手の協調介入を可能にした初の統合フレームワーク。

3. 技術・手法の肝は？

- 介入を意識したデータサンプリング戦略：post-training のために修正セグメントを優先。 - 軽量なテレオペレーションインターフェース：実行中に即時の人間による修正をサポート。 - 腕と dexterous hand の協調的な介入を単一システムで実現。

4. どうやって有効だと検証した？

- 実ロボット実験を実施。 - 標準的なオフラインのみのファインチューニングベースラインと比較。 - 異なるタスクにおいて成功率が平均 25% 向上する大幅な性能躍進を達成。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：標準的なオフラインのみのファインチューニングベースライン。 - 関連手法：Vision-Language-Action (VLA) モデル、Human-in-the-Loop (HiL) 学習、dexterous manipulation における VLA システム。 - 同分野の定番：ロボットマニピュレーションにおける VLA モデル、テレオペレーション、強化学習。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifan Han, Zhongxi Chen, Yuxuan Zhao, Congsheng Xu, Yanming Shao, Yichuan Peng, Yao Mu, Wenzhao Lian

分類: cs.RO, cs.AI

原文アブストラクト

While Vision-Language-Action (VLA) models have demonstrated promising generalization capabilities in robotic manipulation, deploying them on specific and complex downstream tasks still demands effective post-training. In parallel, Human-in-the-Loop (HiL) learning has proven to be a powerful mechanism for refining robot policies. However, extending this paradigm to dexterous manipulation remains challenging: multi-finger control is high-dimensional, contact-intensive, and exhibits execution distributions that differ markedly from standard arm motions, leaving existing dexterous VLA systems limited in reliability and adaptability. We present DexHiL, the first integrated arm-hand human-in-the-loop framework for dexterous VLA models, enabling coordinated interventions over the arm and the dexterous hand within a single system. DexHiL introduces an intervention-aware data sampling strategy that prioritizes corrective segments for post-training, alongside a lightweight teleoperation interface that supports instantaneous human corrections during execution. Real-robot experiments demonstrate that DexHiL serves as an effective post-training framework, yielding a substantial performance leap, outperforming standard offline-only fine-tuning baselines by an average of 25% in success rates across distinct tasks. Project page: https://chenzhongxi-sjtu.github.io/dexhil/

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →