日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

共有自律制御arXiv:2606.23147

Assistron: 既製の視覚言語行動モデルを用いたベイズ共有自律制御

Assistron: Bayesian Shared Autonomy with Off-the-shelf Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルを活用し、ユーザーの介入を重要な失敗点に限定することで、日常操作タスクの成功率を高めつつ人間の負担を軽減する共有自律制御手法を提案した。

詳しい要約

1. どんなもの?

- 日常活動を支援する shared autonomy モデル Assistron を提案。 - Vision-Language-Action (VLA) モデルを活用し、音声言語コマンドで駆動。 - マクロ動作は VLA が自律実行し、接触を伴う失敗しやすい局面では人間が介入。 - VLA の fine-tuning を不要とし、広い behavioral priors を保持。 - 多タスクの scene recovery benchmark で検証。

2. 先行研究と比べてどこがすごい?

- 純粋な自律ベースラインよりタスク成功率を大幅改善。 - 従来の teleoperation より人間の認知的・身体的負荷を大幅低減。 - VLA の fine-tuning を不要にし、catastrophic forgetting を防ぎ狭い specialist 化を回避。 - 人間介入を critical failure points に限定する点が特徴。 - 具体的な先行研究名は要旨からは不明。

3. 技術・手法の肝は?

- ユーザの verbal language commands に基づき VLA が macro-reaching trajectories を自律実行。 - contact-rich interactions では phase-aware interaction detection mechanism を採用。 - 失敗しやすい局面でユーザに介入を促す。 - 介入時は flow matching guidance により VLA の action generation を調整。 - VLA の fine-tuning を行わず behavioral priors を保護。

4. どうやって有効だと検証した?

- 多様な daily manipulation skills を含む包括的な multi-task scene recovery benchmark で検証。 - 純粋な自律ベースラインと比較しタスク成功率が有意に向上。 - 従来の teleoperation と比較し人間の認知的・身体的 workload が有意に減少。 - コードは https://github.com/mousecpn/Assistron.git で公開。

5. 議論はある?

- スケーラブルで滑らか、労力の少ない assistive manipulation のパラダイムを提示。 - VLA の fine-tuning 回避により catastrophic forgetting を防ぎ broad behavioral priors を保持。 - 限界や失敗事例、倫理的議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) モデル、shared autonomy、flow matching guidance、teleoperation が挙げられる。 - 同分野の定番として imitation learning、reinforcement learning、human-in-the-loop learning が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pinhao Song, Ze Fu, Yutong Hu, Renaud Detry

分類: cs.RO

原文アブストラクト

We propose Assistron, a shared autonomy model that leverages Vision-Language-Action (VLA) models to assist the user in daily activities. Our approach is grounded in two core principles: (1)~minimizing human cognitive and physical effort by leveraging VLA-driven autonomy for macro-movements, and (2)~prioritizing human intervention specifically at critical failure points. Driven by the user's verbal language commands, Assistron utilizes the VLA to autonomously execute macro-reaching trajectories, saving users' effort. In contact-rich interactions where VLAs tend to fail, Assistron employs a phase-aware interaction detection mechanism and solicits the user to intervene, in turn adjusting the VLA's action generation via flow matching guidance. Critically, our formulation eliminates the need for VLA fine-tuning, protecting its broad behavioral priors from catastrophic forgetting and ensuring the model does not become a narrow specialist. We validate our approach on a comprehensive multi-task scene recovery benchmark encompassing diverse daily manipulation skills. Empirical results demonstrate that Assistron significantly improves task success rates over pure autonomous baselines while significantly reducing human cognitive and physical workload compared to traditional teleoperation, offering a scalable, smooth, and effortless paradigm for assistive manipulation. The code is available in https://github.com/mousecpn/Assistron.git.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI