arXiv
AIチューターは宿題の成績を上げたが、試験の点数は上げなかった
AIチューターを使うと、宿題の出来はよくなっても、学生が一人で問題を解く力まで高まるとは限らない。カーネギーメロン大学では、153人の数学の学生を対象にしたランダム化導入で、AIチャットボットと証明フィードバックツールへのアクセスを提供した。その結果、序盤の宿題の点数は上がったが、次に行われたAIなしの試験では上昇しなかった。チューターがまず学生に自分で試み、推論を説明するよう求めるなら、大学の授業はAIを思考の代わりではなく、思考の練習に使えるかもしれない。
学生は自由形式のチャットボットに証明の次の一行を尋ね、よりよい宿題を提出し、それでも試験では一人で論証を組み立てられないままになる可能性がある。証明を重視する数学の授業では、これは深刻な隔たりである。証明を書くとは、正しそうな解答を見つけることではなく、理由の連鎖を組み立てることだからだ。通常の授業で得られるデータから、AIを使って課題を終えることと、問題を独力で解くことを学ぶことを切り分ける証拠は、これまでほとんどなかった。
宿題が隠してしまうもの
チャットボットを使えば、完全な解答を尋ねたり、ヒントが答えになるまで質問を繰り返したりするのが簡単だ。そうすると、学生が自分で考えなければならない量は減る可能性がある。学生は役に立つ証明の一段階を受け取れても、その段階を一人で生み出す練習はできないかもしれない。
これは重要な問題だ。すでにつまずいている学生ほど、最も多く助けを求める可能性もあるからだ。メッセージの数を数えるだけでは、ツールによって学生の学習量が減ったのか、それともそもそも学生がより苦労していたのかは分からない。学生自身の試みに対するフィードバックなら、助けを与える前に推論がどこで間違ったのかを示せる別の道になる。ただし、そのフィードバック自体が数学的に正しくなければならない。
試験で止まった宿題の伸び
この結果は、カーネギーメロン大学で同意した学生153人を対象に行われたランダム化導入から得られた。学生には、異なる時点で2つのツールへのアクセスが提供された。中間試験1の後に提供された学生もいれば、中間試験2の後に提供された学生もいた。1つは自由形式のAIチャットボットだった。もう1つは、提出された証明の作業にフィードバックを与えるものだった。
早くアクセスできた学生は、それ以前の宿題の成績を調整した後、宿題5～6で2.56点高い点数を取った。しかし、AIなしで受験した中間試験2では、早期アクセス群と後期アクセス群に有意な差はなかった。ツールと並行して行った課題には効果があったが、次の試験では検出できる改善は見られなかった。
論文では、会話がどのように変化するかも説明している。ある学生はまず、整除性の証明について尋ねる。チャットボットは、導くための質問を返す。学生が「分からない、教えて」と言うと、チャットボットは置換の手順を示す。学生が再び答えを求めると、チャットボットは因数分解を示しながら、それがなぜ整除性を証明するのかを学生に説明するよう求める。学生は導かれる立場から、証明の一部をそのまま求める立場へと移っている。
後期には、152人の学生のうち106人がチャットボットを使い、90人が宿題へのフィードバックを求めた。自己効力感、中間試験2の成績、宿題へのフィードバックの要求を調整すると、チャットボットのメッセージが100件増えるごとに、中間試験3の点数は3.02点低くなることと関連していた。宿題へのフィードバックの要求は、中間試験3の点数の低下とは関連していなかった。著者らは、こうした利用パターンだけでは、どちらのインターフェースが後の試験結果を引き起こしたのかは証明できないと強調している。チャットボットが誤った数学的推論を示すこともあった。
試験会場とは異なるチューター
この発見は、役に立つAIチューターに何が必要かを変える。画面上の解答を改善するだけでは不十分だ。よりよい設計では、まず学生に推論を試みさせ、その後すぐに足りない証明を与えるのではなく、実際のつまずきに応じて返答することになる。それなら、論証を組み立てる役割を学生の手元に残せる。
この方法がうまくいけば、大学の数学の授業で、学生は失敗した証明を授業システムに貼り付け、フィードバックを受ける前に、抜けている一つの含意を正当化するよう求められるかもしれない。試験の日には、学生は隣にチャットボットがいない状態で、その正当化を生み出す練習をしていることになる。宿題は、完成した証明を手に入れるだけの場所ではなく、思考を練習する場所になる。
この未来には、信頼できる数学的フィードバック、AIなしでも理解を試せる授業設計、そしてこの方法が後の独力での作業を改善するという証拠が必要だ。この授業でのデータ収集は予算上の制約から中間試験3で終了し、期末試験は分析されなかった。したがって本当の指標は、AIの助けを借りた課題がどれほど洗練されて見えるかではなく、チャット画面を閉じた後も学生が何をできるかである。