OpenArmベースの実験室モバイルマニピュレーションにおける表現ハンドオフ

本稿は、OpenArmベースの移動操作プロトタイプを、実験室スタイルのタスク向けに構築したフィールドレポートである。デュアルOpenArmマニピュレータ、移動ベース、垂直スライド、RGB-Dセンシング、lidarベースのマッピング、ROS2/MoveIt実行、プロファイル定義のスキルインターフェースを統合する。システムは、自然言語リクエストを登録済みスキル呼び出しに制約し、センサ観測をマップとオブジェクト姿勢に接地し、オブジェクト事前知識が役割とスキル制約を提供し、ランタイムバインディングが検証済みスキルを実行可能なモーションゴールにコンパイルする、という表現のハンドオフ（representation handoffs）を中心に構成される。

オープンソースのロボティクスと基盤モデルが具現化AIの障壁を下げたが、言語誘導の実験室自動化には、命令と観測から安全なアクションへの信頼性の高いアライメントが依然として必要である。本稿は、そのアライメントを表現ハンドオフとして明示的に設計し、中間表現をデバッグインターフェースとして活用する点で、エンドツーエンドの学習や単純なパイプライン統合とは異なる。先行研究が個々のコンポーネント（例：言語理解、知覚、プランニング）に焦点を当てるのに対し、本稿は統合パスと展開時の障害を明らかにすることに焦点を当てている。

手法の肝は、システムを表現ハンドオフに編成することである。具体的には、(1)自然言語リクエストを登録済みスキル呼び出しに制約する、(2)センサ観測をマップとオブジェクト姿勢に接地する、(3)オブジェクト事前知識が役割とスキル制約を提供する、(4)ランタイムバインディングが検証済みスキルを実行可能なモーションゴールにコンパイルする。さらに、ドライラン（dry-run）トレースと起動時チェックを使用して統合パスを評価し、欠落したキャリブレーション、不完全なオブジェクトアセット、未完了の実シーン視覚接地を明示的な展開ブロッカーとして公開する。

有効性の検証は、ドライラントレースと起動時チェックを用いて行われた。これにより、プロトタイプが欠落したキャリブレーション、不完全なオブジェクトアセット、未完了の実シーン視覚接地を明示的な展開ブロッカーとして公開することを示した。具体的なタスク成功率や定量的指標は要旨からは不明である。

議論としては、中間表現が言語、知覚、プランニング、ロボット安全性を統合するための実用的なデバッグインターフェースとして機能することが挙げられる。しかし、要旨はフィールドレポートであり、限定的な評価に基づくため、一般化可能性や性能の限界についての詳細な議論は不明である。また、展開ブロッカーを特定することは有用だが、それらを解決する方法については要旨からは不明である。

要旨で参照されている先行研究や関連手法は明示されていないが、関連分野として、言語誘導操作、視覚接地、ロボット安全性、ROS2/MoveItを用いた統合システムなどが考えられる。次に読むべき論文としては、言語誘導操作の基盤モデル（例：RT-2やPaLM-E）や、実験室自動化のためのロボットシステムに関する研究が挙げられるが、要旨からは特定できない。