知覚から支援へ：ロボット操作のためのオープン語彙共有自律

本論文は、産業環境でのロボットマニピュレータの遠隔操作を支援する、オープン語彙の共有自律（shared autonomy）フレームワークを提案する。単一のRGB-Dカメラでオペレータの腕の動きと手のジェスチャを捉え、ウェアラブルやキャリブレーションを不要とする。オペレータは自由形式のテキストプロンプトで目標を指定し、視覚言語モデル（vision-language model）でロボットのグリッパカメラに接地し、プロンプト可能なビデオセグメンテーションモデルで追跡する。GPU加速のモデル予測制御（model-predictive controller）が自己・環境衝突回避をオンラインのボリューム再構成に対して行い、ポテンシャル場が最終接近時に目標へ向けてオペレータの参照を補正する。自律モードはジェスチャで起動でき、同じ目標に対して把持を完了する。四足移動マニピュレータで検証された。

従来のカメラベースの遠隔操作インターフェースは、精度や奥行き知覚の限界があり、クラッタ環境での整列や衝突回避が困難だった。本手法は、共有自律によりオペレータの意図をテキストで指定し、視覚言語モデルとビデオセグメンテーションで目標を接地・追跡することで、精度を向上させる。また、モデル予測制御による衝突回避とポテンシャル場による補正を統合し、自律モードへのシームレスな移行を可能にしている点が新しい。

手法の肝は、①オペレータの腕の動きと手のジェスチャを単一のRGB-Dカメラで捉えること（ウェアラブル不要）、②自由形式のテキストプロンプトを視覚言語モデルでグリッパカメラの画像に接地し、プロンプト可能なビデオセグメンテーションモデルで目標を追跡して把持フレームを生成すること、③GPU加速のモデル予測制御がオンラインのボリューム再構成に対して自己・環境衝突回避を実行すること、④最終接近時にポテンシャル場がオペレータの参照を目標へ補正すること、⑤自律モードがジェスチャで起動され、同じ目標に対して把持を完了すること。

四足移動マニピュレータで検証した。インターフェースの位置精度は、モーションキャプチャのグラウンドトゥルースに対してRMSE 59 mm。コントローラは、オペレータが意図的にアームを障害物に6 cm押し込んでも、アームを障害物から少なくとも18 cm離すことを維持した。産業用バルブ操作とピックアンドプレースのタスクで、フルフレームワークは全試行で成功した。衝突回避または支援モジュールを除去したアブレーションでは、相補的なメカニズムで失敗が生じた。自律実行は各タスクで5試行中4試行成功した。

要旨からは、議論の詳細は不明。ただし、アブレーション実験により、衝突回避と支援モジュールの両方が重要であることが示された。自律モードの成功率が100%でないことから、自律実行の信頼性に改善の余地がある可能性が示唆される。また、単一のRGB-Dカメラによるオペレータの追跡精度や、テキストプロンプトの解釈の曖昧さなどが課題として考えられるが、要旨では明示されていない。

要旨で参照されている関連研究として、vision-language model、promptable video-segmentation model、model-predictive control、volumetric reconstruction、shared autonomy、teleoperation interfacesなどが挙げられる。具体的な論文名は不明だが、これらの分野の代表的な研究を読むことが推奨される。