言語と実演から構成可能な行動を学習するフレームワークBLADE

- 長期的なロボットマニピュレーションを対象としたフレームワーク BLADE（Behavior from Language and Demonstration） - imitation learning と model-based planning を統合 - 言語注釈付きデモンストレーションを活用 - LLM から抽象的な行動知識を抽出し、構造化された高レベル行動表現のライブラリを構築 - 各高レベル行動は視覚知覚に基づく preconditions と effects、および neural network-based policies としての controllers を含む - 手動の状態ラベルやシンボリック定義なしに構造化表現を自動獲得することを目指す

- 手動でラベル付けされた状態やシンボリック定義を必要とせず、構造化表現を自動で獲得できる点を主張 - 言語注釈付きデモンストレーションと LLM の抽象行動知識を組み合わせ、preconditions/effects を視覚知覚に接地 - 新しい初期状態、外部からの状態摂動、新しい目標といった未知の状況への汎化に強みを示すと主張 - 具体的な先行研究との定量的比較は要旨からは不明

- 言語注釈付きデモンストレーションを入力として利用 - LLM から抽象的な行動知識を抽出し、高レベル行動表現のライブラリを構築 - 各高レベル行動について、視覚知覚に基づく preconditions と effects を獲得 - 対応する controllers を neural network-based policies として実装 - imitation learning と model-based planning を統合し、長期的タスクを実行

- シミュレーションと実ロボットの両方で有効性を検証 - 多様な物体を使用し、articulated parts、partial observability、geometric constraints を含む設定で評価 - 新しい初期状態、外部状態摂動、新しい目標への汎化を評価 - 具体的なタスク数や比較手法、指標は要旨からは不明

- 要旨からは不明 - 想定される論点として、LLM 由来の抽象行動知識の信頼性、視覚知覚に基づく preconditions/effects の獲得精度、実ロボットでの汎化限界などが考えられるが、要旨には明記されていない

- 要旨で参照・比較されている個別研究は明記されていない - 関連手法として、imitation learning、model-based planning、LLM を用いた行動知識抽出、language-annotated demonstrations を用いる研究、neural network-based policies による controller 学習、preconditions/effects を持つ structured action representations に関する研究を次に読む候補として挙げる