日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.01862

ReLI: 言語に依存しない人間-ロボットインタラクション手法

ReLI: A Language-Agnostic Approach to Human-Robot Interaction

シェア:XThreadsFacebookLINEはてブBluesky

大規模基盤モデルを言語から行動へのモデルに変換し、多言語での自然な対話を通じてロボットが環境を推論しタスクを実行できる言語非依存の手法を提案。140言語で90%以上の精度を達成。

詳しい要約

1. どんなもの?

- ReLIは、言語に依存しないHuman-Robot Interaction(HRI)を目指すアプローチ - 自律エージェントが自然言語で対話し、環境を意味的に推論し、下流タスクを実行できるようにする - タスク指示のモダリティや言語的起源に関わらず動作することを狙う - 産業・家庭・日常タスクへの実世界応用を想定 - 大規模事前学習済み基盤モデルをlanguage-to-actionモデルへ変換する

2. 先行研究と比べてどこがすごい?

- 従来はグローバル/多言語文脈での環境相互作用や言語非依存のタスク実行が未解決だった - ReLIは言語横断的な適応を行い、世界的な言語間で汎化する点が特徴 - 自然で自由な対話を通じて常識推論と高レベルロボット制御を直接提供 - 140言語・70K+のマルチターン会話でベンチマークした点が先行研究と比べた規模の違い - 具体的な先行研究名は要旨からは不明

3. 技術・手法の肝は?

- 大規模事前学習済み基盤モデルをgroundingし、language-to-actionモデルへ変換 - 自然で自由な対話型相互作用を通じ、常識推論と高レベルロボット制御を実現 - モデルのcross-lingual adaptationを実施し、多言語への汎化を確保 - タスク指示のモダリティや言語的起源に依存しない設計 - 詳細なアーキテクチャや学習手順は要旨からは不明

4. どうやって有効だと検証した?

- 短期的・長期的タスクを含む広範な実験を実施 - zero-shotおよびfew-shotのspatial navigation、scene information retrieval、query-oriented tasksを評価 - 140言語、70K+のマルチターン会話でベンチマーク - 平均で90%±0.2のcross-lingual instruction parsingおよびタスク実行成功率を達成 - これらの結果で堅牢性を示した

5. 議論はある?

- 実世界での自然なhuman-agent interactionの推進と、包摂性・言語的多様性の促進に寄与する可能性を主張 - 具体的な限界や失敗事例、倫理的議論は要旨からは不明 - 実環境での展開可能性に言及するが、詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法としてlarge-scale pre-trained foundation models、language-to-actionモデル、cross-lingual adaptation、spatial navigation、scene information retrievalに関する研究が次に読む候補 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Linus Nwankwo, Bjoern Ellensohn, Ozan Özdenizci, Elmar Rueckert

分類: cs.RO

原文アブストラクト

Adapting autonomous agents for real-world industrial, domestic, and other daily tasks is currently gaining momentum. However, in global or cross-lingual application contexts, ensuring effective interaction with the environment and executing unrestricted human-specified tasks regardless of the language remains an unsolved problem. To address this, we propose ReLI, a language-agnostic approach that enables autonomous agents to converse naturally, semantically reason about their environment, and perform downstream tasks, regardless of the task instruction's modality or linguistic origin. First, we ground large-scale pre-trained foundation models and transform them into language-to-action models that can directly provide common-sense reasoning and high-level robot control through natural, free-flow conversational interactions. Further, we perform cross-lingual adaptation of the models to ensure that ReLI generalises across the global languages. To demonstrate ReLI's robustness, we conducted extensive experiments on various short- and long-horizon tasks, including zero- and few-shot spatial navigation, scene information retrieval, and query-oriented tasks. We benchmarked the performance on $140$ languages involving $70K+$ multi-turn conversations. On average, ReLI achieved over $90\%\pm0.2$ accuracy in cross-lingual instruction parsing and task execution success. These results demonstrate its potential to advance natural human-agent interaction in the real world while championing inclusive and linguistic diversity. Demos and resources will be public at: https://linusnep.github.io/ReLI/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI