PhysicsAssistant: LLMを活用した物理実験支援の対話型学習ロボット
PhysicsAssistant: An LLM-Powered Interactive Learning Robot for Physics Lab Investigations
YOLOv8と音声認識、LLMチャットボットを組み合わせたマルチモーダル対話ロボットを開発し、中学2年生10名を対象に物理実験支援の有効性を人間の専門家と比較評価した。
著者: Ehsan Latif, Ramviyas Parasuraman, Xiaoming Zhai
分類: cs.RO
原文アブストラクト
Robot systems in education can leverage Large language models' (LLMs) natural language understanding capabilities to provide assistance and facilitate learning. This paper proposes a multimodal interactive robot (PhysicsAssistant) built on YOLOv8 object detection, cameras, speech recognition, and chatbot using LLM to provide assistance to students' physics labs. We conduct a user study on ten 8th-grade students to empirically evaluate the performance of PhysicsAssistant with a human expert. The Expert rates the assistants' responses to student queries on a 0-4 scale based on Bloom's taxonomy to provide educational support. We have compared the performance of PhysicsAssistant (YOLOv8+GPT-3.5-turbo) with GPT-4 and found that the human expert rating of both systems for factual understanding is the same. However, the rating of GPT-4 for conceptual and procedural knowledge (3 and 3.2 vs 2.2 and 2.6, respectively) is significantly higher than PhysicsAssistant (p < 0.05). However, the response time of GPT-4 is significantly higher than PhysicsAssistant (3.54 vs 1.64 sec, p < 0.05). Hence, despite the relatively lower response quality of PhysicsAssistant than GPT-4, it has shown potential for being used as a real-time lab assistant to provide timely responses and can offload teachers' labor to assist with repetitive tasks. To the best of our knowledge, this is the first attempt to build such an interactive multimodal robotic assistant for K-12 science (physics) education.
関連論文
- ROSを超えて:WebotsコントローラをTurtleBot3で直接動かせる自作ライブラリによる教育用ロボティクス教育ロボティクス
- 自閉症スペクトラム教育向けヒューマノイドロボットの視覚的タスクモデリングと自動計画教育ロボティクス
- スウェーデンとイタリアの中学生を対象としたプログラミング・ロボティクス・自動制御の教育介入教育ロボティクス
- 低コストロボティクスを活用したK-12 STEM教育:水質モニタリングタスクを通じて教育ロボティクス
- Earthquaker-AI:小学校向け地震教育のためのルーブリック評価を備えた検索拡張生成フレームワーク教育ロボティクス
- REMindのプレイテスト評価:教育用ロボット媒介ロールプレイゲームの検証教育ロボティクス
