日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.23763

RoboOmni: 全モーダル文脈における能動的ロボットマニピュレーション

RoboOmni: Proactive Robot Manipulation in Omni-modal Context

シェア:XThreadsFacebookLINEはてブBluesky

音声対話・環境音・視覚情報からユーザ意図を能動的に推論し、確認と動作実行までを統合した全モーダルLLMフレームワークRoboOmniを提案し、大規模データセットOmniActionで訓練して実機・シミュレーションで有効性を示した。

詳しい要約

1. どんなもの?

- どんなもの? - 明示的な命令ではなく、音声対話・環境音・視覚的手がかりから意図を推定して行動するロボット操作の新設定「cross-modal contextual instructions」を提案 - その設定に対応する end-to-end omni-modal LLM ベースのフレームワーク RoboOmni を提示 - Perceiver-Thinker-Talker-Executor の4段構成で、意図認識・対話による確認・行動実行を統合 - 訓練用データセット OmniAction も構築(140k episodes、5k+ speakers、2.4k event sounds、640 backgrounds、6種類の文脈命令)

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 従来の VLA モデルは明示的指示に依存していたが、本研究は音声対話・環境音・視覚 cues から意図を能動的に推定する設定を扱う - text ベースおよび ASR ベースの baseline に対し、success rate・inference speed・意図認識・proactive assistance で上回ると報告 - 音声と視覚を時空間的に融合し、直接の speech interaction も可能にした点が特徴 - 意図認識の訓練データが無かったため OmniAction を新規構築した点も貢献

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - end-to-end omni-modal LLM を基盤とする Perceiver-Thinker-Talker-Executor フレームワーク - Perceiver で auditory と visual 信号を時空間的に融合し、意図認識を頑健化 - Thinker が意図認識、Talker が対話による確認、Executor が行動実行を担い、一連の流れを統合 - 直接の speech interaction をサポートし、ASR を介さない処理を可能にする構成 - 詳細なモジュール間接続や学習手順は要旨からは不明

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - simulation と real-world settings の両方で実験を実施 - text ベースおよび ASR ベースの baseline と比較 - 評価軸は success rate、inference speed、intention recognition、proactive assistance - RoboOmni がこれらの指標で baseline を上回ったと報告 - 具体的なタスク内容・被験者数・統計的検定は要旨からは不明

5. 議論はある?

- 議論はある? - 明示指示に依存しない proactive な意図推定の有効性を示す一方、意図推定の誤りや対話確認のコストに関する議論は要旨からは不明 - OmniAction の規模・多様性(話者・環境音・背景)が実世界の一般化にどこまで寄与するかは要旨からは不明 - real-world での安全性・失敗時の回復行動・ユーザ受容性についての議論は要旨からは不明 - 限界や倫理的考慮は要旨からは不明

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で直接参照されている個別論文は無いため、同分野の定番として以下を挙げる - Vision-Language-Action (VLA) モデルに関する代表的研究(RT-2 など一般名としての VLA 研究) - Multimodal Large Language Models (MLLMs) のロボティクス応用研究 - ASR ベースのロボット指示理解に関する研究 - 音声・環境音を用いたロボット操作のマルチモーダル研究 - 意図推定・proactive assistance に関する HRI 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siyin Wang, Jinlan Fu, Feihong Liu, Xinzhe He, Huangxuan Wu, Junhao Shi, Kexin Huang, Zhaoye Fei, Jingjing Gong, Zuxuan Wu, Yu-Gang Jiang, See-Kiong Ng, Tat-Seng Chua, Xipeng Qiu

分類: cs.RO, cs.CL, cs.CV

原文アブストラクト

Recent advances in Multimodal Large Language Models (MLLMs) have driven rapid progress in Vision-Language-Action (VLA) models for robotic manipulation. Although effective in many scenarios, current approaches largely rely on explicit instructions, whereas in real-world interactions, humans rarely issue instructions directly. Effective collaboration requires robots to infer user intentions proactively. In this work, we introduce cross-modal contextual instructions, a new setting where intent is derived from spoken dialogue, environmental sounds, and visual cues rather than explicit commands. To address this new setting, we present RoboOmni, a Perceiver-Thinker-Talker-Executor framework based on end-to-end omni-modal LLMs that unifies intention recognition, interaction confirmation, and action execution. RoboOmni fuses auditory and visual signals spatiotemporally for robust intention recognition, while supporting direct speech interaction. To address the absence of training data for proactive intention recognition in robotic manipulation, we build OmniAction, comprising 140k episodes, 5k+ speakers, 2.4k event sounds, 640 backgrounds, and six contextual instruction types. Experiments in simulation and real-world settings show that RoboOmni surpasses text- and ASR-based baselines in success rate, inference speed, intention recognition, and proactive assistance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI