日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

教育工学/LLMarXiv:2607.03303

対話的ガイドかプロンプト改善か?プログラミング学習におけるLLM利用へのチューター足場かけの影響

Reflective Dialogue or Prompt Refinement? Effects of Tutor Scaffolding on Students' Independent LLM Use for Programming

シェア:XThreadsFacebookLINEはてブBluesky

LLMベースのチューターの2つのタイプ(ソクラテス式ガイダンスとプロンプト改善)が、学生のプロンプト使用、学習成果、その後のLLM利用に与える影響を比較した研究。ソクラテス式ガイダンスが長期的な学習能力向上に有効であることを示した。

詳しい要約

1. どんなもの?

本研究は、LLMベースのチューターの2つのタイプ(Socratic-Guidance (SG) と Prompt-Refinement (PR))が、学生のプロンプト作成方法、学習成果、その後のLLM使用に与える影響を調査した。大学院レベルのモバイルロボティクスコースで、2段階の研究を実施した。第1段階では66人の学生が6週間にわたりSGまたはPRチューターを使用し、第2段階では52人の学生が制約のないLLMを3週間のコースプロジェクトで使用した。

2. 先行研究と比べてどこがすごい?

先行研究ではLLMの教育利用の懸念が指摘されているが、本研究は学生のLLMとの関わり方に焦点を当て、チューターの設計がその後の独立したLLM使用にどのように影響するかを縦断的に検証した点が新しい。特に、SGがPRと比較して学習成果とその後のLLM使用に与える影響の違いを実証した点が優れている。

3. 技術・手法の肝は?

SGチューターは対話的な質問を通じて相互作用を構造化し、PRチューターは効果的なプロンプトの作成をガイドする。2段階の研究デザインで、第1段階ではチューターの種類を比較し、第2段階では制約のないLLM使用を観察した。学習成果はセッションごとの学習ゲインで測定し、プロンプト戦略は理解駆動型かどうかで分類した。

4. どうやって有効だと検証した?

66人の学生をSGまたはPR群に分け、6週間の介入でタスクパフォーマンスとプロンプトパターンを比較した。その後、52人の学生が制約のないLLMを使用する3週間のプロジェクトで、学習ゲインとプロンプト戦略を分析した。SG群はPR群よりも後のセッションで高い学習ゲインを示し、理解駆動型のプロンプト戦略を採用する傾向が高かった。

5. 議論はある?

SGチューターは学習者に非効率と認識されたが、長期的にはLLMと学ぶ能力を向上させることが示唆された。これは、効率性と学習効果のトレードオフを示す。また、理解駆動型のプロンプト戦略が高い理解を予測することが確認されたが、因果関係については要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている研究は明示されていないが、関連する分野として、LLMの教育利用に関する研究や、Socratic questioningの効果に関する研究が考えられる。具体的には、"Socratic tutoring"や"prompt engineering in education"に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jerome Brender, Laila El-Hamamsy, Kim Uittenhove, Aitor Perez, Patrick Jermann, Francesco Mondada, Engin Bumbacher

分類: cs.AI

原文アブストラクト

While Large Language Models (LLMs) can provide personalized support in learning, several studies have raised concerns regarding their use in education. Importantly, learning depends on how students engage with LLMs. This study examined how two types of LLM-based tutors shape students' prompting practices, learning, and subsequent LLM-use: a Socratic-Guidance (SG) tutor, which structures interaction through dialogic questioning, and a Prompt-Refinement (PR) tutor that guides the formulation of effective prompts. We conducted a two-phase study in a graduate-level mobile robotics course: 66 students used either the SG or PR tutor during a 6-week intervention, followed by 52 students using an unconstrained LLM during a 3-week course project. Results show that while the SG- and PR tutors led to similar task performance and prompting patterns during guided use, they differ in learning outcomes and later LLM-use. SG-students, relative to PR-student, achieved higher learning gains in later sessions, and were more likely to adopt understanding-driven prompting strategies, which are predictive of higher understanding, when using an unconstrained LLM. Although learners perceived the SG tutor as less efficient, the findings suggest that Socratic guidance supports the development of students' capacity to learn with LLMs over time, highlighting its importance for LLM tutor design.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI