模倣学習/マニピュレーション2026/3/1arXiv:2603.08057

見て切り替える：視覚に基づく分岐による対話型ロボットスキルプログラミング

See and Switch: Vision-Based Branching for Interactive Robot-Skill Programming

タスクをスキル部品のグラフとして表現し、視覚入力で条件分岐を選ぶ対話型の教示・実行フレームワークを提案。初心者8名による3つの器用な操作タスクで最大90.6%の分岐選択精度を達成した。

詳しい要約

1. どんなもの？

- ロボットのProgramming by demonstration (PbD)を非専門家でも使えるようにする枠組み - タスクをskill partsのグラフとして表現し、decision statesで接続 - replay中に条件分岐を可能にする - 視覚ベースのSwitcherがeye-in-hand画像から適切な後続skill partを選択 - 新規状況を検出し、新しいdemonstrationが必要なことを通知 - 実行中のrecovery demonstrationをkinesthetic teaching、joystick control、hand gesturesで支援

2. 先行研究と比べてどこがすごい？

- 従来のPbDフレームワークは実世界の変動性へのスケーリングが課題 - 特に視覚入力からオンラインでタスク変種を選択する必要がある場合に困難 - See & Switchはdecision statesを介した条件分岐をreplay中に可能にし、視覚ベースで後続skillを選択 - 新規状況を検出して追加demonstrationを促す点が先行研究と異なる - 具体的な先行研究名は要旨からは不明

3. 技術・手法の肝は？

- タスクをskill partsのグラフとして表現し、decision statesで接続 - 視覚ベースのSwitcherがeye-in-hand画像を用いて後続skill partを選択 - 新規状況を検出し、新しいdemonstrationが必要なことを検出 - 実行中のrecovery demonstrationをkinesthetic teaching、joystick control、hand gesturesで支援 - オフライン評価ではuser-gated decision state windowsを使用し、タイミングエラーを分離

4. どうやって有効だと検証した？

- 3つのdexterous manipulationタスクで8名のnoviceユーザーを対象に評価 - 約900回の実ロボット実行rolloutを収集 - Switcherをオフラインでuser-gated decision state windowsを用いて評価 - decision state windows内で最大90.6%のbranch-selection accuracyを達成 - 79のdecision statesのうち47で>90%の精度でanomalyを検出

5. 議論はある？

- 視覚入力に基づく信頼性の高いswitchingが条件付きロボットスキルプログラミングに有効であることを示す - タイミングエラーと視覚判断性能を分離するためオフライン評価を実施 - 限界や議論の詳細は要旨からは不明 - 実世界でのオンライン性能やユーザビリティに関する議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない - 同分野の定番としてProgramming by demonstration (PbD)、Learning from Demonstration (LfD)、Interactive robot programming、Vision-based skill selection、Anomaly detection in robot executionなどが挙げられる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Petr Vanc, Jan Kristof Behrens, Václav Hlaváč, Karla Stepanova

分類: cs.RO, cs.CV

原文アブストラクト

Programming by demonstration (PbD) makes robot programming accessible to non-experts, but scaling it to real-world variability remains a challenge for current teaching frameworks, especially when a robot must select suitable task variants online from visual input. We present See & Switch, an interactive teaching-and-execution framework that represents tasks as graphs of skill parts connected by decision states, enabling conditional branching during replay. Its vision-based Switcher uses eye-in-hand images to select the appropriate successor skill part and detect novel situations that require new demonstrations. The framework supports recovery demonstrations during execution through kinesthetic teaching, joystick control, and hand gestures. We evaluate See & Switch on three dexterous manipulation tasks with 8 novice users, collecting approx. 900 real-robot execution rollouts. To isolate visual decision performance from timing errors during decision states, we evaluate the Switcher offline using user-gated decision state windows. In the evaluation within the decision state windows, the method achieves up to 90.6% branch-selection accuracy and detects anomalies with >90% accuracy in 47 of 79 decision states, demonstrating reliable switching based on visual input for conditional robot-skill programming. We provide all code and experiment data at http://imitrob.ciirc.cvut.cz/publications/seeandswitch.

arXivで原文を読む →arXiv概要ページ

見て切り替える：視覚に基づく分岐による対話型ロボットスキルプログラミング

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell