日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマーク/操作arXiv:2604.16886

インタラクション推論ベンチマーク(COIN):推論と身体化インタラクションの融合

Chain Of Interaction Benchmark (COIN): When Reasoning meets Embodied Interaction

シェア:XThreadsFacebookLINEはてブBluesky

部分観測下での長期的なインタラクション推論を評価する新しいベンチマークCOINを提案し、ロボット操作タスクにおける既存手法の限界を明らかにした。

詳しい要約

1. どんなもの?

- 汎用embodied agentが長期的タスクを解くために必要なinteractive reasoningを評価するベンチマークCOINを提案。 - 3つの貢献: COIN-50(日常シナリオの50タスク)、COIN-Primitive(因果依存タスクに必要な基本スキル)、COIN-Composition(中期的複雑さのスキル学習・汎化評価)。 - 低コストモバイルARテレオペレーションシステムを開発し、COIN-Primitive Dataset(各基本タスク50デモ、計1,000)を収集。 - 実行安定性と汎化頑健性の評価指標を開発し、CodeAsPolicy、VLA、language-conditioned H-VLAを評価。

2. 先行研究と比べてどこがすごい?

- 既存ベンチマークは、部分的観測下での逐次的なinteractive reasoningを体系的に評価できていない。 - COINは、因果依存的なinteractive reasoningを評価するために設計された初のベンチマーク(要旨の主張)。 - 具体的な先行研究名は要旨からは不明。

3. 技術・手法の肝は?

- COIN-50、COIN-Primitive、COIN-Compositionの3つのベンチマーク構成。 - 低コストモバイルARテレオペレーションシステムによるデータ収集。 - COIN-Primitive Dataset(50デモ×20タスク=1,000)の構築。 - 実行安定性と汎化頑健性に関する体系的評価指標。 - CodeAsPolicy、VLA、language-conditioned H-VLAの評価。

4. どうやって有効だと検証した?

- COIN-Primitive Datasetを用いて、CodeAsPolicy、VLA、language-conditioned H-VLAを評価。 - 実行安定性と汎化頑健性の指標で評価。 - 結果、視覚理解と運動実行の間に大きなギャップがあり、interactive reasoningタスクに苦戦することを発見。 - これらの限界について細粒度の分析を提供。

5. 議論はある?

- 現在の手法はinteractive reasoningタスクにおいて、視覚理解と運動実行の間の大きなギャップにより苦戦する。 - この限界について細粒度の分析を提供。 - その他の議論や限界は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: CodeAsPolicy、VLA、language-conditioned H-VLA。 - 関連手法: 具体的な論文名は要旨からは不明。 - 同分野の定番: embodied AI、robot manipulation、interactive reasoningのベンチマーク。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xianhao Wang, Xiaojian Ma, Haozhe Hu, Rongpeng Su, Yutian Cheng, Zhou Ziheng, Hangxin Liu, Lei Liu, Bin Li, Qing Li

分類: cs.RO

原文アブストラクト

Generalist embodied agents must perform interactive, causally-dependent reasoning, continually interacting with the environment, acquiring information, and updating plans to solve long-horizon tasks before they could be adopted in real-life scenarios. For instance, retrieving an apple from a cabinet may require opening multiple doors and drawers before the apple becomes visible and reachable, demanding sequential interaction under partial observability. However, existing benchmarks fail to systematically evaluate this essential capability. We introduce COIN, a benchmark designed to assess interactive reasoning in realistic robotic manipulation through three key contributions. First, we construct COIN-50: 50 interactive tasks in daily scenarios, and create COIN-Primitive required by causally-dependent tasks, and COIN-Composition with mid-term complexity for skill learning and generalization evaluation. Second, we develop a low-cost mobile AR teleoperation system and collect the COIN-Primitive Dataset with 50 demonstrations per primitive task (1,000 in total). Third, we develop systematic evaluation metrics about execution stability and generalization robustness to evaluate CodeAsPolicy, VLA, and language-conditioned H-VLA approaches. Our comprehensive evaluation reveals critical limitations in current methods: models struggle with interactive reasoning tasks due to significant gaps between visual understanding and motor execution. We provide fine-grained analysis of these limitations.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI