日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

身体化推論/VLMarXiv:2606.15753

RoboPIN: ピン留めチェーン・オブ・ソートによる接地された身体化推論

RoboPIN: Grounded Embodied Reasoning via Pinned Chain-of-Thought

シェア:XThreadsFacebookLINEはてブBluesky

身体化推論の各ステップを視覚的証拠に固定する「ピン留めチェーン・オブ・ソート」を提案し、エンティティ追跡の一貫性を保つデータセットとモデルを構築した。

詳しい要約

1. どんなもの?

- 物理環境での embodied reasoning を対象に、視覚的根拠と推論ステップを結びつける Pinned Chain-of-Thought (PinCoT) を提案。 - 各推論ステップを視覚的証拠に固定する reasoning anchor を導入し、エンティティ名・一意ID・view index・spatial grounding を構造化。 - 自動データ生成パイプラインで PIN-170K を構築し、3段階の post-training で RoboPIN を訓練。 - 4B パラメータで 14 benchmarks において 7B 級のオープンソース embodied モデルを上回る。

2. 先行研究と比べてどこがすごい?

- 従来の vision-language models は text-only または coordinate-augmented chain-of-thought に依存し、エンティティ参照が暗黙的・曖昧。 - その結果、推論が視覚証拠から乖離し、ステップ間でエンティティ参照がドリフトし、推論軌跡と最終回答の因果的断絶が生じる。 - 多視点シナリオでは見た目の変化によりこれらの問題が増幅。 - PinCoT は各ステップを視覚的証拠に固定し、一貫したエンティティ追跡を可能にすることでこれらを解決。

3. 技術・手法の肝は?

- reasoning anchor を導入:各タスク関連エンティティを entity name, unique identity, view index, spatial grounding を持つ構造化視覚アンカーに束縛。 - これにより推論ステップ間および視点間で一貫したエンティティ追跡を実現。 - 完全自動データ生成パイプラインで PIN-170K を構築。 - 3段階 post-training:embodied knowledge 注入、structured reasoning 能力獲得、process-supervised alignment。 - 報酬が推論中の anchor localization と identity consistency を直接制約。

4. どうやって有効だと検証した?

- 14 benchmarks(embodied spatial reasoning, multi-view reasoning, pointing)で評価。 - 4B の RoboPIN が 7B 級オープンソース embodied モデルを平均で上回り、最強の 7B baseline である Mimo-Embodied に対して平均 12% 改善。 - さらなる分析で PinCoT が grounding accuracy と cross-step identity consistency を改善することを示し、process supervision の有効性を検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Mimo-Embodied(最強の 7B baseline として比較) - その他の embodied reasoning 関連モデルや multi-view reasoning 手法(具体的名称は要旨に記載なし)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yaoting Huang, Yifu Yuan, Linqi Han, Chengwen Li, Shuoheng Zhang, Xianze Yao, Hongyao Tang, Yan Zheng, Jianye Hao

分類: cs.AI

原文アブストラクト

Embodied reasoning requires models to perceive task-relevant objects and spaces in physical environments and maintain consistent visual grounding throughout multi-step reasoning. However, current vision-language models rely on text-only or coordinate-augmented chain-of-thought, where entity references remain implicit and ambiguous. This may cause the reasoning process to decouple from visual evidence, entity references to drift across steps, and a causal disconnection between the reasoning trajectory and the final answer, with these problems further amplified in multi-view scenarios due to cross-view appearance changes. To address these issues, we propose Pinned Chain-of-Thought (PinCoT), a structured reasoning paradigm that pins every reasoning step to visual evidence. PinCoT introduces the concept of reasoning anchor, which binds each task-relevant entity to a structured visual anchor with entity name, unique identity, view index, and spatial grounding, enabling consistent entity tracking across reasoning steps and views. We build a fully automated data generation pipeline to construct PIN-170K, a high-quality PinCoT-formatted reasoning dataset. We then train RoboPIN through three-stage post-training that progressively injects embodied knowledge, structured reasoning ability, and process-supervised alignment, with rewards that directly constrain both anchor localization and identity consistency during reasoning. On 14 benchmarks covering embodied spatial reasoning, multi-view reasoning, and pointing, RoboPIN with only 4B parameters surpasses 7B level open-source embodied models on average, achieving a 12% average improvement over the strongest 7B baseline, Mimo-Embodied. Further analysis shows that PinCoT improves grounding accuracy and cross-step identity consistency, validating the effectiveness of process supervision.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI