日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.15666

ペルシア語視覚言語行動データセットと曖昧性・実行不能性を考慮した指示から計画へのグラウンディングベンチマーク

A Persian Vision-Language-Action Dataset and Benchmark for Ambiguity- and Infeasibility-Aware Instruction-to-Plan Grounding

シェア:XThreadsFacebookLINEはてブBluesky

実環境の写真230枚に対する258件のペルシア語指示と参照計画を収録し、曖昧性・実行不能性ラベルや質問応答ペアを付与した初のデータセットを構築。検索拡張や連鎖的思考などの手法を比較評価する新指標PGOS-FAを提案した。

詳しい要約

1. どんなもの?

- ペルシア語のVision-Language-Actionデータセットとベンチマークを提案。 - タスクは、シーン画像に基づき自然言語指示を実行可能な行動計画に変換するInstruction-to-Plan Grounding。 - 258インスタンス、230枚の実家庭・オフィス写真を含む。 - 参照計画、意図的な曖昧性・実行不可能性ラベル、曖昧性解消のQAペア、自動生成CoT根拠を注釈。 - 評価指標PGOS-FAを新たに導入。

2. 先行研究と比べてどこがすごい?

- 既存ベンチマークは英語、シミュレーションまたはビデオ接地環境を対象とし、指示が明確で実行可能と仮定。 - 本研究は初のペルシア語Vision-Language-Actionデータセットで、曖昧性と実行不可能性を明示的に扱う。 - 先行研究PG2Sを拡張し、ステップ順序感度、過生成ペナルティ、ペルシア語適応埋め込みを追加したPGOS-FAを提案。 - 36比較のペア統計検定で、retrieval-augmentationが大きく頑健に有意な効果を持つことを示す。

3. 技術・手法の肝は?

- データセット構築:実写真に参照計画、曖昧性・実行不可能性ラベル、QAペア、CoT根拠を注釈。 - アブレーション:retrieval-augmentation、chain-of-thought prompting、agentic disambiguation stepを検討。 - 評価:LLM-as-judgeプロトコルとPGOS-FA(PG2Sを拡張し、ステップ順序感度、過生成ペナルティ、ペルシア語埋め込みを導入)。 - ペア統計検定:36比較で効果を検証。 - 人間相関研究:79の実出力でPGOS-FAと人間判断の相関を評価。

4. どうやって有効だと検証した?

- 36のペア比較で統計検定を実施。 - retrieval-augmentationが大きく頑健に有意な効果を持つことを確認。 - 細粒度の追加は方向性は一貫するが、この規模ではノイズと統計的に区別できない。 - LLM-judge指標はPGOS-FAが成功する場面でほぼゼロの検出力。 - 79の実出力に対する盲検人間相関研究で、PGOS-FAが少なくともLLM-judgeと同程度に人間判断を追跡することを示す。 - 単一バックボーンを超えた汎化テスト:オープンウェイトとクローズドプランナーのギャップの大部分はオープンウェイトモデル生成に起因。 - 最良構成は弱いバックボーンにもかかわらず、独立再現された外部ベースラインを有意に上回る。

5. 議論はある?

- retrieval-augmentationは大きく頑健に有意な効果。 - 細粒度の追加(chain-of-thought prompting、agentic disambiguation step)は方向性は一貫するが、この規模では統計的にノイズと区別できない。 - LLM-judge指標はPGOS-FAが成功する場面でほぼゼロの検出力。 - PGOS-FAは人間判断を少なくともLLM-judgeと同程度に追跡。 - オープンウェイトとクローズドプランナーのギャップの大部分はオープンウェイトモデル生成に起因。 - 最良構成は弱いバックボーンにもかかわらず外部ベースラインを有意に上回る。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:PG2S(先行研究)、LLM-as-judgeプロトコル、retrieval-augmentation、chain-of-thought prompting、agentic disambiguation step。 - 関連手法:Vision-Language-Action、Instruction-to-Plan Grounding、embodied human-robot interaction。 - 同分野の定番:英語ベースのVision-Language-Actionベンチマーク、シミュレーションまたはビデオ接地環境のベンチマーク。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Abdollah Pourasghari, Saeedeh Sadat Sadidpour, Mohammad Roustaei

分類: cs.CV, cs.CL

原文アブストラクト

Converting natural-language instructions into executable action plans conditioned on a scene image is a core capability for embodied human-robot interaction, but existing benchmarks target English, simulated or video-grounded environments, and largely assume instructions are clear and executable. We introduce the first Persian vision-language-action dataset for this task: 258 instances over 230 real household/office photographs, annotated with reference plans, deliberate ambiguity and infeasibility labels, disambiguating question-answer pairs, and an auto-generated chain-of-thought rationale for training. Using this resource, we ablate retrieval-augmentation, chain-of-thought prompting, and an agentic disambiguation step, evaluated with an LLM-as-judge protocol and a new metric, PGOS-FA, extending prior work (PG2S) with step-order sensitivity, an over-generation penalty, and Persian-adapted embeddings. Paired statistical testing across 36 comparisons shows retrieval-augmentation is a large, robustly significant effect, while finer-grained additions are directionally consistent but not statistically distinguishable from noise at this scale, and the LLM-judge metric has near-zero power where PGOS-FA succeeds. A blind human-correlation study on 79 real outputs shows PGOS-FA tracks human judgment at least as closely as the LLM-judge. Testing generalization beyond the ablation's single backbone, we find that most of the gap between an open-weight and a substantially stronger closed planner is attributable to open-weight model generation rather than to the closed model's capability specifically, and that our best configuration significantly outperforms an independently reproduced external baseline despite a weaker backbone. The dataset, PGOS-FA implementation, and evaluation code will be made available upon reasonable request.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI