日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.30101

構造化画像表現による説明可能なロボット学習

SIR: Structured Image Representations for Explainable Robot Learning

シェア:XThreadsFacebookLINEはてブBluesky

ロボットポリシーの学習にシーングラフを中間表現として用い、タスクに関連する部分グラフを抽出して行動生成に利用することで、モデルの判断過程を説明可能にする手法を提案した。

詳しい要約

1. どんなもの?

- ロボット政策学習のための構造化画像表現(SIR)を提案。 - Scene Graphs(SGs)を中間表現として利用。 - 画像から得た特徴を初期ノード表現とする完全結合グラフを構築。 - モジュールがエンドツーエンドでグラフをスパース化し、タスクに関連するサブグラフを生成。 - サブグラフを行動生成モデルに渡す。 - 本質的に説明可能なモデルを実現。

2. 先行研究と比べてどこがすごい?

- 既存の学習された視覚埋め込みに基づくロボット政策は、明示的な構造を欠き、視覚的妨害に敏感。 - その表現は不透明で、意思決定プロセスが解釈しにくい。 - SIRはScene Graphsを中間表現として用いることで、内在的に説明可能。 - スパースグラフ政策は、RoboCasaにおいて画像ベースのベースラインを上回る成功率(19.5% vs 14.81%)を達成。

3. 技術・手法の肝は?

- 画像由来の特徴を初期ノード表現とする完全結合グラフを構築。 - モジュールがエンドツーエンドでグラフをスパース化し、タスクに関連するサブグラフを生成。 - サブグラフを行動生成モデルに渡す。 - このプロセスにより、モデルが本質的に説明可能になる。

4. どうやって有効だと検証した?

- RoboCasaでの評価を実施。 - スパースグラフ政策が画像ベースのベースラインを上回る平均成功率(19.5% vs 14.81%)を達成。 - 学習されたスパースグラフがモデル分析の強力なツールであることを示す。 - モデルのサブグラフが人間の期待から逸脱する場合(妨害ノードの包含や主要オブジェクトの省略など)を分析し、データセットのバイアス(偽相関や位置バイアス)を明らかにすることに成功。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法:Scene Graphs(SGs)、RoboCasa、画像ベースのベースライン。 - 同分野の定番:Vision-Language Models(VLMs)、Graph Neural Networks(GNNs)、Robot Learning with Visual Representations。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Paul Mattes, Jan Schwab, Jens Bosch, Nils Blank, Maximilian Xiling Li, Minh-Trung Tang, Moritz Haberland, Rudolf Lioutikov

分類: cs.RO, cs.CV

原文アブストラクト

Existing robot policies based on learned visual embeddings lack explicit structure and are sensitive to visual distractions. Thus, the representations that drive their behaviour are often opaque, making their decision-making process difficult to interpret. To address this, we introduce Structured Image Representations (SIR), a method that leverages Scene Graphs (SGs) as an intermediate representation for robot policy learning. Our approach first constructs a fully connected graph, using image-derived features as initial node representations. Then, a module learns to sparsify this graph end-to-end, creating a task-relevant sub-graph that is passed to the action generation model. This process makes our model intrinsically explainable. Evaluations on RoboCasa show that our sparse graph policies outperform image-based baselines on average with 19.5% vs 14.81% success rate. Most importantly, we show that the learned sparse graphs are a powerful tool for model analysis. By analysing when the model's sub-graph deviates from human expectation, such as by including distractor nodes or omitting key objects, we successfully uncover dataset biases, including spurious correlations and positional biases. https://github.com/intuitive-robots/SIR_Model

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI