arXiv
学習者モデリングは少数派の学生を見落とす
短いチュータリング対話は、学生がどのように学ぶことを好むかを公正に評価する手段の代わりには、まだなり得ない。こうしたモデルは多数派を認識する一方で、あまり一般的でない学習者を見落としがちだからだ。ある評価では、153人の大学生による対話を使ってGPT-4oとGemini 2.0 Flashをテストしたところ、両方とも1つのラベルの組み合わせで、単純に多数派のラベルを付けるベースラインを下回った。チューターが不確実性を見える形に保ち、授業を進む複数の道筋を残せば、学生はAIの推測によって知らないうちに行き先を限定されずに済む可能性がある。
今日、学生に合わせて適応しようとするチュータリングシステムには、通常、質問票やテスト、長期間の活動記録が必要である。短いチャットは、もっと簡単な近道に見える。AIに学生が問題を解く様子を読ませ、合いそうな説明の種類をひそかに選ばせるのだ。しかし、システムが間違って推測すると、好みがあまり一般的でない学生が、その理由を知らないまま多数派向けの扱いを受けることになる。
学習ラベルが隠すもの
この評価では、Active–Reflective、Sensing–Intuitive、Sequential–Globalという3組のラベルを調べた。これらは、手順を一つずつ進めることや、最初に全体像を見ることなどの好みを表す。ラベルは44項目のIndex of Learning Styles質問票から得られたものだ。固定された精神的能力を直接測定したものではない。元の資料も、学習の好みは固定された認知特性ではなく、厳格な学習スタイルに沿って教えることには議論があると指摘している。
これは重要な点である。単純な正解率は、AIが主に最も多く現れるラベルを選んでいる場合でも、健全に見えることがあるからだ。Macro-F1やbalanced accuracyなどの指標は、あまり一般的でないラベルにもより大きな重みを与える。質問票では、境界線付近のスコアを2つのカテゴリーのどちらかに変換することもあるが、学生は実際にはどちらにもきれいには当てはまらない可能性がある。
近道は、あまり一般的でない利用者に通用しない
この評価では、米国の1つの大学に在籍する153人の大学生による対話を使った。GPT-4oとGemini 2.0 Flashには、短い問題解決の会話から質問票のラベルを推測させた。テキストだけの会話だったため、Visual–Verbalの組み合わせはテストできなかった。
モデルは、よくある答えを選ぶことが多かった。Sensing–Intuitiveの分類では、114人の参加者の基準ラベルがSensingで、39人はIntuitiveだった。プロンプトに例を与えないテストでは、GPT-4oはSensingの学習者を96人正しく識別したが、Intuitiveの学習者を識別できたのは11人だけだった。Geminiは多数派のグループではより良く、Sensingの学習者を107人識別したが、Intuitiveの学習者を識別できたのは5人だけだった。
全体のスコアはGPT-4oが70%、Geminiが73%で、どちらも毎回多数派のラベルを選ぶだけで達成できる74.5%のスコアを下回った。ラベル付きの例を追加しても、この問題は解決しなかった。few-shot promptingでは、GPT-4oはSensingの学習者を112人識別したが、Intuitiveの学習者は1人も識別できなかった。Sequential–Globalの組み合わせでも、例を追加するとスコアは67%から57%に下がった。
つまり問題は、モデルが時々間違えるというだけではない。高い全体スコアの陰に、多数派に似ていない学生をほとんど認識しないシステムが隠れている可能性がある。著者らは、これらのプロンプトを与えたモデルを、教師ありの非LLMテキスト分類器と比較していない。そのため、どの種類のシステムが最も良く機能するかを、この評価から明らかにすることはできない。
門戸を開いたままにするチューター
オンラインの微積分コースで、AIチューターに助けを求める学生は、解答の手順を一つずつ示したものと、その問題が単元全体の中でどのように位置づけられるかを示す地図の両方を見られるかもしれない。チューターは学生にひそかにラベルを付け、1つの形式に閉じ込めることはない。会話からの推測を、その人についての事実ではなく、異議を唱えられるヒントとして扱えば、これは可能になる。
著者らは、こうしたプロフィールを不確実で、変更可能なシグナルとして表示すべきだとしている。学生はプロフィールを訂正できるべきであり、チューターは各学習者を1つの固定された道に送るのではなく、アイデアを説明する方法を複数提示すべきである。教育テクノロジーのチームには、1つの全体正解率に頼るのではなく、それぞれの学習者のクラスをどれだけ適切に認識できるかを測定することも必要になる。より広範で、よりバランスの取れた評価によって、そのレベルで信頼できる性能が示されるまでは、チャットベースのプロフィールは信頼できる学習者モデルではなく、偏りやすい推測である。