SSC: 双腕操作ラベリングのための検証可能な構造化表現

本論文は、双腕操作デモンストレーションのサブタスクラベリングのための新しい表現形式である Structured Subtask Chain (SSC) を提案している。SSC は、各サブタスクを Structured Subtask Template (SST) として記述し、主語・述語・目的語などのコアな動作要素、副詞修飾語などの柔軟な条件、ベースモーションとアーム動作を分離したフィールド、および after-state scene graph を含む。SSC は、自然言語記述の可読性とテンプレート形式の検証容易性の間のギャップを埋めることを目指している。

先行研究では、自然言語によるサブタスクラベルは読みやすいが言語的ばらつきが大きく自動検証が困難であり、BEHAVIOR-1K の skill_annotation のような rigid なテンプレート形式は言語的に過分割で可読性とアノテーションの一貫性を損なう。SSC は、状態遷移表現を用いることで、これらの極端なアプローチを橋渡しし、可読性と検証可能性を両立する点が新しい。

SSC の核となる手法は、SST 形式の定義と、それに基づく3つの視覚言語支援機能である。具体的には、(1) SST を自然言語にレンダリングする機能、(2) チェーン全体を4つの状態遷移ルールに照らして検証する機能、(3) クエリ解決カスケードによる未指定フィールドの補完機能である。これにより、デモンストレーションを構造化された状態遷移の連鎖として表現し、自動検証とコンテンツ補完を可能にする。

BEHAVIOR-1K データセット（50タスク、各タスク3エピソード、合計2,357のアノテーション済みアクションセル）を用いて、パイプラインをインスタンス化し、論理検証とコンテンツ補完を実施した。さらに、13の最先端の視覚言語モデル（VL models）を候補検証器として評価し、ラベリングの異常を報告している。

要旨からは、SSC の表現形式がどの程度スケーラブルであるか、他のデータセットやタスクへの一般化可能性、また VL モデルの検証性能の限界などについての議論は明示されていない。また、提案手法が実際のポリシー学習や評価にどの程度有効であるかについての実証的な検証は要旨の範囲では不明である。

要旨で参照されている BEHAVIOR-1K の skill_annotation に関する論文や、関連するサブタスクラベリング手法、また評価に用いられた13の state-of-the-art VL models に関する論文が挙げられる。具体的には、BEHAVIOR-1K のデータセット論文や、視覚言語モデルのベンチマーク論文などが関連する。