日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.04089

AmbiK: キッチン環境における曖昧なタスクのデータセット

AmbiK: Dataset of Ambiguous Tasks in Kitchen Environment

シェア:XThreadsFacebookLINEはてブBluesky

キッチンでロボットに与えられる曖昧な指示とその明確化版を1000組集め、曖昧性検出手法を統一的に比較できるベンチマークを構築した。

詳しい要約

1. どんなもの?

- 台所環境でロボットに与えられる曖昧な指示の完全テキストデータセット AmbiK を提案 - 曖昧なタスクとその曖昧でない対応版のペアを1000組収録 - 曖昧さの種類で分類: Human Preferences, Common Sense Knowledge, Safety - 各項目に環境記述、明確化質問と回答、user intents、task plans を含む - 合計2000タスクから成る - LLM の支援で収集され、人間による検証済み - https://github.com/cog-model/AmbiK-dataset で公開

2. 先行研究と比べてどこがすごい?

- 従来もタスク曖昧性検出の手法は提案されている - しかし各手法は異なるデータセットで評価され、統一ベンチマークが無い - そのため手法間の比較が困難という問題があった - AmbiK は統一比較を可能にする共通ベンチマークを提供 - 曖昧さの種類別カテゴリと明確化質問・回答、user intents、task plans を備える点が特徴 - 具体的な先行研究名や性能比較は要旨からは不明

3. 技術・手法の肝は?

- 台所環境におけるロボット向け曖昧指示のテキストデータセットを構築 - LLM の支援を用いてデータを収集 - 収集データは人間により検証 - 曖昧タスクと曖昧でない対応タスクをペアで整備 - 曖昧さを Human Preferences, Common Sense Knowledge, Safety に分類 - 環境記述、明確化質問と回答、user intents、task plans を付与 - 合計2000タスク、1000ペアという規模

4. どうやって有効だと検証した?

- データセットは人間による検証 (human-validated) を受けている - 曖昧タスクとその曖昧でない対応版をペアで収録し、比較可能な形で整備 - 曖昧さの種類別に分類されたデータを含む - ただし曖昧性検出手法を用いた定量評価やベースライン比較は要旨からは不明

5. 議論はある?

- 曖昧指示への対処は実世界環境における LLM の課題として位置づけられている - 既存手法はデータセットが異なり統一比較が困難という議論がある - AmbiK により曖昧性検出手法の統一比較が可能になることが期待される - データセットの限界、バイアス、LLM 支援収集の影響などの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法としてタスク曖昧性検出 (task ambiguity detection) の既存研究 - LLM を用いた behavior planning に関する研究 - 明確化質問 (clarifying questions) を用いる対話的タスク計画の研究 - 曖昧指示を含む embodied agent 向けベンチマーク研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anastasiia Ivanova, Eva Bakaeva, Zoya Volovikova, Alexey K. Kovalev, Aleksandr I. Panov

分類: cs.LG, cs.AI, cs.CL, cs.RO

原文アブストラクト

As a part of an embodied agent, Large Language Models (LLMs) are typically used for behavior planning given natural language instructions from the user. However, dealing with ambiguous instructions in real-world environments remains a challenge for LLMs. Various methods for task ambiguity detection have been proposed. However, it is difficult to compare them because they are tested on different datasets and there is no universal benchmark. For this reason, we propose AmbiK (Ambiguous Tasks in Kitchen Environment), the fully textual dataset of ambiguous instructions addressed to a robot in a kitchen environment. AmbiK was collected with the assistance of LLMs and is human-validated. It comprises 1000 pairs of ambiguous tasks and their unambiguous counterparts, categorized by ambiguity type (Human Preferences, Common Sense Knowledge, Safety), with environment descriptions, clarifying questions and answers, user intents, and task plans, for a total of 2000 tasks. We hope that AmbiK will enable researchers to perform a unified comparison of ambiguity detection methods. AmbiK is available at https://github.com/cog-model/AmbiK-dataset.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI