日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2611.19621

タスク構造と視覚内容を分離する計画表現に向けて

Toward Planning Representations That Separate Task Structure from Visual Content

シェア:XThreadsFacebookLINEはてブBluesky

物体ゴールナビゲーションの制御評価を導入し、外観変化がナビゲーション性能に与える影響を要因別に分析した。表面素材の変化が最も影響し、DINOv2特徴を用いたモデルベースエージェントが最も高い成功率を示した。

詳しい要約

1. どんなもの?

- ObjectNav(指定カテゴリの物体インスタンスへ到達するタスク)における視覚的汎化を制御評価する枠組み - ProcTHOR で手続き生成した家屋内で、floor plan・物体位置・goal・start state を固定し、視覚要因のみを個別/組み合わせで変化させる - model-free RL、model-based RL、frozen pretrained visual representation を用いる agent を比較 - 視覚変化が navigation 成功に与える影響を要因別に切り分けることを目的とする

2. 先行研究と比べてどこがすごい?

- 既存の視覚汎化評価は複数要因を同時に変えることが多く、失敗の原因特定が困難だった - 本研究は floor plan・物体位置・goal・start state を共有し、視覚要因を個別または組み合わせで変える制御評価を導入 - これにより要因ごとの影響差を分離して測れる点が新しい - 画像統計量の shift の大きさが性能を予測するとは限らないことを示す

3. 技術・手法の肝は?

- ProcTHOR の手続き生成 house を用い、訓練/評価で構造を揃え視覚要因のみ変更 - 視覚要因として surface material、clutter、lighting、goal object の外観などを個別/組み合わせで操作 - model-free RL、model-based RL、frozen pretrained visual representation を使う agent を比較 - model-based agent は pretrained DINOv2 image encoder の frozen features 上で planning を行う

4. どうやって有効だと検証した?

- 同一 floor plan・物体位置・goal・start state の下で視覚要因を変えた ObjectNav 評価を実施 - 要因別に success の変化を比較し、surface material の変化が平均 success 変化の大部分を占め、clutter と lighting の影響は小さいと報告 - 画像全体の統計量 shift の大きさは性能を安定的に予測せず、goal object の外観のみの変化でも end-to-end agent が大きく劣化する場合があると示す - 全 shift 下で DINOv2 frozen features 上で plan する model-based agent が最高 success 0.83 を達成

5. 議論はある?

- 視覚変化の影響は要因ごとに大きく異なり、画像レベルの変化量では性能低下を説明できない - DINOv2 frozen features を用いる model-based agent は最高性能だが surface appearance への感度が残る - planning representation には、不変な spatial task structure と appearance を分離する要件があると結論 - 要旨からは不明:他の視覚要因の詳細な組み合わせ効果や、実環境への一般化可能性についての議論

6. 次に読むべき論文は?

- DINOv2(pretrained image encoder) - ProcTHOR(手続き生成 house 環境) - ObjectNav(object-goal navigation) - model-based RL と model-free RL の比較研究 - frozen pretrained visual representation を用いる embodied agent 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aarav Srivastava, Vishwas Sathish, Rajesh P. N. Rao

分類: cs.CV, cs.RO

原文アブストラクト

Effective planning requires representations that preserve task-relevant geometry and object identity while ignoring visual variation that does not alter the task. Existing evaluations of visual generalization often change several factors simultaneously, making the source of a failure difficult to identify. We introduce a controlled evaluation of object-goal navigation (ObjectNav), the task of reaching an instance of a named object category, in procedurally generated ProcTHOR houses. Training and evaluation houses share floor plans, object locations, goals, and start states, while visual factors are changed individually or in combination. Across model-free reinforcement learning (RL), model-based RL, and agents using frozen pretrained visual representations, our results show that appearance changes impair navigation, but their effects differ sharply by factor. Surface material changes account for most of the average change in success, whereas clutter and lighting have little effect. The magnitude of a global image statistics shift does not reliably predict performance: changing only the goal object's appearance can substantially impair an end-to-end agent despite a small image-level change. We found that a model based agent that plans over frozen features from the pretrained DINOv2 image encoder achieves the highest success (0.83) under the full shift, but remains sensitive to surface appearance. Our experiments reveal an important requirement for planning representations: they must separate invariant spatial task structure from appearance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI