RoboPlayground: 構造化物理ドメインによるロボット評価の民主化

- ロボットマニピュレーションの評価を、言語駆動で構造化された物理ドメイン上で行う枠組み「RoboPlayground」を提案。 - ユーザーが自然言語で操作タスクを記述すると、実行可能なタスク仕様にコンパイルされる。 - 仕様には asset 定義、初期化分布、成功述語が明示的に含まれる。 - 各命令は関連タスクの構造化された family を定義し、意味的・行動的変動を制御しつつ実行可能性と比較可能性を保つ。 - 構造化 block manipulation ドメインで実装し、3軸で評価。

- 従来は少数の専門家が作成した固定 benchmark に依存し、タスク事例・制約・成功基準が事前定義され拡張が困難だった。 - 誰が評価を形作れるかが限られ、ユーザー作成の意図・制約・成功概念の変化への policy 応答が見えにくかった。 - RoboPlayground は評価を言語駆動プロセスとして再枠組みし、ユーザーが自然言語でタスクを著作者可能にする。 - ユーザー研究で programming-based や code-assist baseline より使いやすく認知負荷が低いことを示す。 - 固定 benchmark では見えない汎化失敗を言語定義タスク family で明らかにする。

- 自然言語命令を、再現可能なタスク仕様へコンパイルする。 - 仕様は asset 定義、初期化分布、成功述語を明示的に含む。 - 各命令が関連タスクの構造化 family を定義し、意味的・行動的変動を制御。 - 実行可能性と比較可能性を保つ。 - 構造化 block manipulation ドメインに実装。

- 構造化 block manipulation ドメインで3軸評価。 - ユーザー研究: 言語駆動インターフェースが programming-based と code-assist baseline より使いやすく認知負荷が低い。 - 学習済み policy を言語定義タスク family で評価し、固定 benchmark では見えない汎化失敗を明らかに。 - タスク多様性はタスク数だけでなく貢献者多様性にスケールし、crowd-authored 貢献で評価空間が継続的に成長することを示す。

- 評価を言語駆動プロセスとして再枠組みする主張。 - 固定 benchmark の限界: 誰が評価を形作れるかが限られ、ユーザー作成変動への policy 応答が見えにくい。 - 言語定義タスク family で汎化失敗が明らかになる点を議論。 - タスク多様性が貢献者多様性にスケールする点を議論。 - 具体的な限界や反論は要旨からは不明。

- 要旨で参照/比較されている programming-based baseline、code-assist baseline。 - 固定 benchmark 評価。 - 構造化 block manipulation ドメイン。 - 関連手法として language-conditioned manipulation policy、crowd-authored evaluation。 - 同分野の定番として robotic manipulation benchmark、generalization in manipulation policies。