アイ・ロボット：見ることで行動する知覚-行動ループのBC-RL学習

- 実世界タスク遂行のために自ら視線を動かすgaze behaviorを獲得するロボットシステムEyeRobotの提案。 - 自由回転するmechanical eyeballを搭載し、360 cameraで取得したデータを活用。 - 単一カメラで広い作業空間のmanipulationを可能にすることを目指す。

- 受動的な観察ではなく、タスク完了の必要性からgazeが創発する点が特徴。 - 単一カメラでロボットアーム周囲の弧状に広がる作業空間をカバー。 - foveal-inspiredなpolicy architectureにより、小さなcompute budgetで高解像度を実現。 - 先行研究との具体的比較は要旨からは不明。

- 自由回転するmechanical eyeballを開発し、gaze policyをreinforcement learningで訓練。 - teleoperated demonstrationsと360 cameraのデータを収集し、任意のeyeball viewpointをrenderできるsimulation環境へ取り込む。 - BC-RL loopを導入：hand (BC) agentはrenderされたeye observationから訓練され、eye (RL) agentはhandが正しいaction predictionを出したときに報酬を得る。 - foveal-inspiredなpolicy architectureを実装。

- ロボットアーム周囲の弧状manipulationを要する5つのpanoramic workspace manipulation tasksで評価。 - hand-eye coordination behaviorsが大規模作業空間でのmanipulationを単一カメラで効果的に促進することを実験的に示唆。 - foveal-inspired architectureが安定したfixationの創発、object tracking、distractor無視の改善につながることを確認。

- foveal-inspired architectureがcompute budget削減だけでなく、fixationの安定化やtracking・distractor無視の改善をもたらす点を議論。 - 単一カメラで広い作業空間を扱える可能性を示す一方、限界や失敗事例の詳細は要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法としてBehavior Cloning (BC)、Reinforcement Learning (RL)、foveal-inspired vision、active perception、teleoperation、simulation-based renderingが挙げられる。 - 同分野の定番としてimitation learningやvision-based manipulationの代表的手法を参照するのが有用。