arXiv
AIチューター、頼まれなくても紙の上のミスを見つける
紙のノートをAIチューターに見せるために、学生が数学の行をすべて入力する必要はない。ただし、ミスを見つけられるようにしても、学習量が増えることはまだ示されていない。研究者たちはスマートフォンのカメラを使うチューターシステムを構築し、微積分の経験がある米国の成人117人を対象にテストした。キッチンのテーブルで、カメラと手書き認識、データ保護がうまく機能すれば、学生に修正を任せたまま、間違った手順を静かに指摘できるシステムである。
今日、紙の上で微積分を解く学生は、うまくいかないときに面倒な二つの方法のどちらかを取らなければならない。書きかけの式をチャット欄に入力するか、問題に気づいて説明するかである。チャット型チューターは、学生が伝えない限り、抜けたマイナス記号や途中で放棄された図、間違った微分を見ることができない。推論が行われる紙は、チューターにとって死角なのである。
紙はなぜチューターにとって難しかったのか
デジタルの段階的なチューターシステムは、学習者が構造化された画面に各手順を入力するため、その推論を追うことができる。紙は多くの種類の数学に向いている。学生は記号をすばやく書き、図を描き、消し、書き直し、近くに下書きを残せるからである。しかしチャット型チューターが通常見られるのは、入力された質問と最終的な答えだけである。
カメラがその隔たりを埋める可能性はあるが、手書きを読むことは、きれいに整えられたコンピューターの文字を読むこととは違う。画像と言語を結びつけるシステムである視覚・言語モデルは、実際の学生の答案を読み違えることがある。誤りを間違って診断する可能性もある。また、机に向けたカメラは数学以外のものまで撮影することがあり、プライバシーや画像の保存方法をめぐる問題が生じる。
もう一つの問題は、間違ったタイミングの助けは役に立たないことがある点である。介入によって、気づかれていなかったミスを見つけられるかもしれない。しかし同時に、学生が難しい考えを一人で考え抜くのを止めてしまうかもしれない。いつでも割り込むチューターは、確認を簡単にできても、学習者の問題を解く力を高めない可能性がある。
話す前に待つカメラ
研究者たちは、紙の上に置いた普通のスマートフォンのカメラと、問題とチャットを表示するノートパソコンを使ったブラウザー型システムを構築した。カメラは、学生が手書きする数学をリアルタイムで見られるマルチモーダルチューター、つまり画像とテキストの両方を使えるチューターに映像を送った。
システムでは、3種類の助けをテストした。テキストのみの条件では、チューターは入力されたメッセージに応答できたが、ページを見ることはできなかった。視覚的反応型の条件では、学生が助けを求めたときに、紙の映像を使えた。視覚的先回り型の条件では、頼まれなくても、目に見えるミスを指摘できた。
重要な設計上の選択は、控えめに振る舞うことだった。先回り型の条件では、チューターは紙を5,047回分析したが、その96％の後では待つことを選んだ。32人の参加者に、頼まれていないメッセージを167件送り、そのうち157件はページ上で見つかったミスを修正するものだった。一例は積の微分法の計算で因子が一つ抜けていたケースである。チューターは最終的な誤答を待つのではなく、推論が最初に外れた手順を指摘した。
ページが見えることで、チューターが言えることは変わった。正しさに関するフィードバックは、テキストのみの条件ではメッセージの40％に現れたのに対し、チューターが紙を見て質問に答えられる条件では63％、さらに介入もできる条件では69％に現れた。先回り型の助けを受けた人は、その助けを7点満点で5.53点の「支えになった」、2.45点の「割り込まれた」と評価した。
しかし、よりよく見えることは、測定された学習の向上を意味しなかった。オンライン研究には、微積分の経験がある米国の成人117人が参加した。全員の得点は、事前テストの平均3.34点から事後テストの4.60点へと、9点満点で上がった。ただし研究者たちは、3つの条件の間で、調整済み事後テスト得点に違いを見いだせなかった。
紙のチューターはどのようなものになるか
キッチンのテーブルで、学生は微積分のノートの上に置いた小さな台にスマートフォンを置いておける。間違った積の微分法の手順が次の行に書かれる前に、静かなプロンプトが抜けている因子を指摘し、学生に修正を任せられる。そうなれば、書きかけの式を一つひとつ入力する必要がなくなり、チューターは答えだけでなく、推論の道筋に応答できるようになる。
この場面を実現するには、カメラが確実に接続し、ページを読み取れる状態で映し続けなければならない。手書きシステムは、乱雑な答案を正しく読まなければならない。学校や家庭も、画像がどのように処理され、保存されるかを受け入れなければならない。このテストでは、セットアップ自体がすでに障壁だった。参加候補者74人がスマートフォンと紙に関する要件を見た後で参加を断り、研究に入った169人のうち52人がカメラのセットアップ中に離脱した。
したがって、中心となる問いはまだ開かれたままである。チューターは今や、紙を十分に細かく見てミスに気づき、多くの場合は割り込まないことを選べる。まだ示されていないのは、ミスが起きたときにより多く修正すれば、その後に助けなしで取り組むことが増えるのかどうかである。それが明らかになるまでは、カメラによって紙を使ったチュータリングが技術的に実現可能になったとは言えても、自分の数学を自分で確認する力を学ぶことの代わりにはならない。
Sources
arXiv, “Exploring Visual Access and Proactive AI Tutoring for Handwritten Mathematics”