日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.16756

聴き・見・話し・行動する統合モデルELLSA

End-to-end Listen, Look, Speak and Act

シェア:XThreadsFacebookLINEはてブBluesky

視覚・テキスト・音声・行動を単一アーキテクチャで同時に知覚・生成する全二重エンドツーエンドモデルを提案し、対話と行動の割り込みや発話しながらの行動などを実現した。

詳しい要約

1. どんなもの?

- 人間のマルチモーダルかつfull-duplexな相互作用(見ながら聞く、行動しながら話す、turn-takingや割り込みへの適応)を模倣するモデル - ELLSA (End-to-end Listen, Look, Speak and Act) と名付けられた、単一アーキテクチャ内でvision, text, speech, actionを同時に知覚・生成する初のfull-duplex end-to-endモデル(著者らの知る限り) - これまで実現困難だった相互作用パターンを可能にし、より自然で人間らしい振る舞いを生み出すことを目指す

2. 先行研究と比べてどこがすごい?

- 従来はmodality-specificなbaselineが別々に存在し、full-duplexでマルチモーダルな同時知覚・生成を単一アーキテクチャで扱うモデルは著者らの知る限り存在しなかった - ELLSAはspeech-interactionおよびrobot-manipulationベンチマークでmodality-specific baselineに匹敵する性能を維持しつつ、dialogueとactionのturn-taking、defective instruction rejection、speaking-while-acting、context-grounded visual question answering、action barge-insといった高度なマルチモーダル・full-duplex挙動を独自に支援する点が新しい

3. 技術・手法の肝は?

- 中核は新規のSA-MoE architecture (Self-Attention Mixture-of-Experts) - 各modalityをspecialized expertsへルーティングし、unified attention backboneで融合する - 強いpre-trained componentsを活用しつつ効率的なmodality統合を可能にし、modality interferenceを緩和する - 共同マルチモーダル知覚と並行生成のための汎用性ある解を提供する

4. どうやって有効だと検証した?

- speech-interactionおよびrobot-manipulationベンチマークで評価 - modality-specific baselineと同等の性能を達成することを確認 - さらにdialogueとaction turn-taking、defective instruction rejection、speaking-while-acting、context-grounded visual question answering、action barge-insといった高度なマルチモーダル・full-duplex挙動を支援できることを示した - 詳細な実験設定・指標は要旨からは不明

5. 議論はある?

- 著者らはELLSAがより自然で汎用的なinteractive intelligenceへの一歩であり、artificial general intelligenceの追求に寄与すると主張 - modality interferenceの緩和や効率的なmodality統合をSA-MoEで実現できると述べる - 限界・失敗事例・倫理的懸念などの具体的な議論は要旨からは不明 - データ・コード・model checkpointsは公開予定と記載

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明示されていない - 関連手法としてMixture-of-Experts (MoE)、Self-Attention、full-duplex speech interaction、robot-manipulationのマルチモーダルモデル、visual question answering、turn-takingモデルなど同分野の定番を次に読む候補として挙げる - 公開予定のELLSAのcode/model checkpoints(https://github.com/bytedance/SALMONN/tree/ELLSA)も参照候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siyin Wang, Wenyi Yu, Xianzhao Chen, Xiaohai Tian, Jun Zhang, Lu Lu, Chao Zhang

分類: cs.AI, cs.CL, cs.CV, cs.RO, eess.AS

原文アブストラクト

Human interaction is inherently multimodal and full-duplex: we listen while watching, speak while acting, and fluidly adapt to turn-taking and interruptions. Realizing these capabilities is essential for building models simulating humans. We present ELLSA (End-to-end Listen, Look, Speak and Act), which, to our knowledge, is the first full-duplex, end-to-end model that simultaneously perceives and generates across vision, text, speech, and action within a single architecture, enabling interaction patterns previously out of reach, yielding more natural, human-like behaviors. At its core is a novel SA-MoE architecture (Self-Attention Mixture-of-Experts) that routes each modality to specialized experts and fuses them through a unified attention backbone. This provides a generalizable solution for joint multimodal perception and concurrent generation, leveraging strong pre-trained components while enabling efficient modality integration and mitigating modality interference. On speech-interaction and robot-manipulation benchmarks, ELLSA matches modality-specific baselines, while uniquely supporting advanced multimodal and full-duplex behaviors such as dialogue and action turn-taking, defective instruction rejection, speaking-while-acting, context-grounded visual question answering, and action barge-ins. We contend that ELLSA represents a step toward more natural and general interactive intelligence, contributing to the broader pursuit of artificial general intelligence. All data, code and model checkpoints will be released at https://github.com/bytedance/SALMONN/tree/ELLSA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI