日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.01999

TRACE: アフォーダンス座標抽出のためのテキスト推論

TRACE: Textual Reasoning for Affordance Coordinate Extraction

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルにテキスト形式の推論連鎖を組み込み、指示からロボット操作に必要な空間アフォーダンス座標を高精度に予測する手法を提案。

詳しい要約

1. どんなもの?

- 視覚言語モデル(VLM)がロボット操作に必要な精密なspatial affordanceを予測するための手法TRACE(Textual Reasoning for Affordance Coordinate Extraction)を提案する研究。 - 視覚的Chain-of-Thought(CoT)ではなく、テキストのChain of Reasoning(CoR)をaffordance予測に統合する。 - 自律パイプラインで命令文と明示的なテキストrationaleを対にした大規模TRACE datasetを構築。 - VLMをfine-tuningし、行動前にspatial reasoningを外部化させる。

2. 先行研究と比べてどこがすごい?

- 既存のvisual Chain-of-Thought(CoT)手法は計算コストが高いことが課題。 - TRACEはテキストのChain of Reasoning(CoR)を用いる点で異なり、計算効率と精度の両立を狙う。 - TRACE-tuned modelはWhere2Place(W2P) benchmarkで48.1% accuracy(相対9.6%改善)を達成しstate-of-the-art。 - より難しいW2P(h) subsetでも55.0%を記録。

3. 技術・手法の肝は?

- テキストのChain of Reasoning(CoR)をaffordance予測プロセスに統合する方法論が肝。 - 自律パイプラインで命令文と明示的テキストrationaleを対にしたTRACE datasetを大規模に生成。 - そのデータでVLMをfine-tuningし、行動前にspatial reasoningを外部化するよう学習。 - 推論ステップを経てからaffordance coordinateを抽出する構成。

4. どうやって有効だと検証した?

- Where2Place(W2P) benchmarkおよびW2P(h) subsetで評価。 - TRACE-tuned modelがW2Pで48.1%(相対9.6%改善)、W2P(h)で55.0%を達成しstate-of-the-art。 - Ablation studyでreasoning data量に応じて性能が直接スケールすることを確認しCoRの有効性を示す。 - Attention map解析により、reasoning step間で注目が動的に移る解釈可能な推論過程を確認。

5. 議論はある?

- テキストCoRの学習がVLMベースロボット制御の精度・信頼性・解釈性を高める有効かつ堅牢な戦略であると主張。 - Attention mapの解析から推論過程の解釈可能性を示す。 - 計算コストやvisual CoTとの直接比較の詳細、実機ロボットでの検証については要旨からは不明。 - 限界や失敗事例に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及されるvisual Chain-of-Thought(CoT)系のVLM推論手法。 - 評価に用いられたWhere2Place(W2P) benchmarkおよびW2P(h) subsetの関連研究。 - Affordance predictionやVLM-based robot controlの代表的先行手法(要旨で個別名の参照なし)。 - 著者らが公開するdataset/code(GitHub: jink-ucla/TRACE)に関連する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sangyun Park, Jin Kim, Yuchen Cui, Matthew S. Brown

分類: cs.RO, cs.AI

原文アブストラクト

Vision-Language Models (VLMs) struggle to translate high-level instructions into the precise spatial affordances required for robotic manipulation. While visual Chain-of-Thought (CoT) methods exist, they are often computationally intensive. In this work, we introduce TRACE (Textual Reasoning for Affordance Coordinate Extraction), a novel methodology that integrates a textual Chain of Reasoning (CoR) into the affordance prediction process. We use this methodology to create the TRACE dataset, a large-scale collection created via an autonomous pipeline that pairs instructions with explicit textual rationales. By fine-tuning a VLM on this data, our model learns to externalize its spatial reasoning before acting. Our experiments show that our TRACE-tuned model achieves state-of-the-art performance, reaching 48.1% accuracy on the primary Where2Place (W2P) benchmark (a 9.6% relative improvement) and 55.0% on the more challenging W2P(h) subset. Crucially, an ablation study demonstrates that performance scales directly with the amount of reasoning data used, confirming the CoR's effectiveness. Furthermore, analysis of the model's attention maps reveals an interpretable reasoning process where focus shifts dynamically across reasoning steps. This work shows that training VLMs to generate a textual CoR is an effective and robust strategy for enhancing the precision, reliability, and interpretability of VLM-based robot control. Our dataset and code are available at https://github.com/jink-ucla/TRACE

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI