arXiv
質的インタビューの自動フォローアップを研究者自身のサーバーで行う
小型AIモデルを使えば、機密性の高い記録を外部のモデル提供会社に送らずに、質的インタビューをより速く進められる。ただし、増えたデータ量を証拠として信頼できるものにするには、なお検証が必要だ。無作為化比較では、大学生41人がAI主導または人間主導のテキストインタビューを受け、研究チームがローカルで動かしたシステムは、フォローアップ質問を平均3秒で作成した。人間の場合は約39秒だった。この結果が学生によるチャットテスト以外でも成り立つなら、大学の研究クリニックは、学生が難しい経験について入力している間、自らのサーバー上で応答的な質問を投げかけられる。
今日、多くの人から詳しい体験談を集めたい研究者は、扱いにくい選択を迫られる。調査なら大勢に届くが、通常は誰かが回答で何を意味したのかを尋ねられない。人間によるインタビューならフォローアップ質問ができるが、時間と費用がかかり、まったく同じ方法で実施するのも難しい。ソフトウェアを使って質問する場合、機密性の高い記録を商用AI企業のサーバー経由で送らなければならないこともある。
フォローアップ質問が重要な理由
質的インタビューは、背景や詳細を明らかにするためのものだ。固定された調査質問なら、学生が学業上の助けを求めたかどうかを尋ねるかもしれない。インタビューなら、その後に何が起きたのか、あるいはなぜ学生が助けを求めないことにしたのかを尋ねられる。
このフォローアップは、単なる機械的な作業ではない。人間のインタビュアーは、相手の不快感に気づき、安心感を与え、曖昧な答えを理解し、予想外の細部に新たな質問を向けるべきか判断できる。テキストチャットでは、人が信頼関係を築くのに役立つ声、身振り、関係性の手がかりの多くが失われる。言葉が増えれば、自動的により良い、あるいはより真実に近い証拠になるわけではない。
ローカルAIモデルとは、質問を一つずつ遠隔サービスに送るのではなく、研究チーム自身のコンピューターやサーバーで動くソフトウェアである。これにより、記録をチームの管理下に置ける。ただし、モデルの重み、つまり訓練中に学習された設定にオープンにアクセスできても、訓練に使われたデータのすべてが明らかになるわけではない。
小型モデルはより早く質問する
この研究では、大学生41人を、学業上の助けを求めた、あるいは求めなかった経験についての短いライブテキストチャットインタビューに無作為に割り当てた。各インタビューでは、同じチャット画面、テーマ、ガイド、説明を使った。比較したのは、訓練を受けた専門家ではない人間のインタビュアーと、Mistral 7BをベースにしたOpenHermes 2.5というローカルモデルである。
中心的な違いは待ち時間だった。AIがフォローアップ質問を作成するまでの平均時間は3秒だった。人間のインタビュアーは約39秒だった。インタビューの長さはほぼ同じで、中央値はAIが28.9分、人間が28.3分だった。しかし、AI主導のインタビューで回答者が出力した文字数は平均3,244文字で、人間主導では1,968文字だった。参加者が答えた質問数は、AIの場合が平均31問、人間の場合が14問だった。
追加の内容は、単に長いという理由だけで有用だと判断されたわけではない。独立した評価では、両タイプのインタビューの関連性スコアの平均は5点満点で4.9だった。具体性の平均は、AI主導のインタビューで3.6、人間主導で3.8だった。研究者が複数比較の補正を行った後、この差は統計的に有意ではなかった。ただし著者らは、この標本では、5点満点の尺度で人間側が約0.75点優れている可能性を排除できないとしている。
テストでは問題も明らかになった。5人の参加者がスキップボタンを22回使ったが、すべてAI主導のインタビュー中だった。人間のインタビュアーの質問をスキップした人はいなかった。最初のデータ収集日に行ったAIインタビュー4件は、システムが質問を繰り返し、1回は関係のない文章を生成したため破棄された。システムは、フォローアップ質問の数を限定した、あらかじめ定められたガイドを使っていた。そのため制御しやすい一方で、誰も予想していなかったテーマを見つける能力は制限される。
クラウドの仲介者を介さないインタビュー
この結果が、別のテーマ、集団、インタビュー形式でも成り立つなら、大学の研究クリニックは、学業上の助けを求めることの難しさについて、学生にチャット画面を提供できる。次の質問は学生の直前の答えに言及し、その記録はクラウドAIサービスに送られるのではなく、大学自身のサーバーに残る。大規模なスタッフを雇えない研究チームでも、多くの半構造化インタビューを集められるようになり、参加者は各回に生身のインタビュアーがいなくても、応答的な質問を受けられる。
その未来は、素早く追加のテキストを生成できるかどうかだけにかかっているわけではない。自動化されたインタビューが、率直さ、ニュアンス、同意の保護、文化的な感受性を保てることを、研究者はなお示さなければならない。特に、人が脆弱な立場にある場合や、信頼が重要な場合はそうである。この研究では、AIを質的インタビューの専門家や対面インタビューと比較していない。著者らはプロンプト、インタビューガイド、集計データ、コード化されたスコア、分析コードを公開したが、生の記録は公開していない。残る問いは、この小型モデルが、証言を集める価値を生む人間の判断を失わずに、速度を維持できるかどうかだ。