arXiv
スティグマの順位はつけられても測定はできない
メンタルヘルスのチャットボットは、スティグマについての順位を再現できても、その順位が人々の実際の経験と一致するかどうかは測定できない。論文ではGPT-4とGPT-5 miniを、米国の高等教育機関に通う学生76,406人の回答と比較し、モデルがいくつかのスティグマの水準を誤って推定したことが分かった。大学の寮の部屋で、支援アプリが同級生の態度について根拠に基づく助言をするには、開発者がその学生集団について一つひとつの主張を検証しなければならない。
他の人がどう思うかをメンタルヘルスのチャットボットに尋ねる学生は、現実の社会的態度に対する較正が実証されていないシステムに質問している。答えは思いやりがあり確かなものに聞こえながら、学習したステレオタイプを、助けを求めても安全かどうかについての助言に変えてしまう可能性がある。チャットボットは、男性、女性、ノンバイナリーの人々が何を信じていると考えているかを説明できても、その人々が実際に何を経験しているかを知らない。
スティグマとは何か
メンタルヘルスのスティグマは、一つの感情ではない。それは、メンタルヘルス上の問題を抱える人に対する本人の態度、自分自身に向ける羞恥心、あるいは他の人々が精神疾患について何を信じていると本人が考えているかを意味することがある。これらは別々の問いなので、通常は特定の集団を対象にした調査で測定される。
これは重要な点である。なぜなら、社会的態度は場所、年齢、文化、時代によって変わるからだ。言語モデルはそれとは異なる仕組みで動く。学習に使われた資料のパターンから、もっともらしい文章を生成するのである。したがって、ある集団について流暢に答えられることは、モデルがその集団を測定した証拠にはならない。
それでもモデルが、ある部分を正しく捉えることはある。たとえば、ある集団を別の集団より上位に置くなど、集団の順序を保ちながら、スティグマの実際の大きさを大きく誤ることがある。これは、パターンを繰り返すことと、現実に対して較正されていることの違いである。
比較
この違いを、論文ではGPT-4とGPT-5 miniを使った2つの研究で検証した。1つ目の研究では、GPT-4に各指標と各ジェンダー集団について、調査形式の回答をそれぞれ1,000件生成させた。GPT-5 miniは、そのパターンが別のモデルでも成り立つかを確認するために使われた。
どちらのモデルも、メンタルヘルス上の問題を抱える人々との社会的距離が最も大きく、否定的なステレオタイプが最も強く、専門家に助けを求めることへの態度が最も好意的でないのは男性だと描写した。これは有用な社会情報のように聞こえる。しかし2つ目の研究では、こうした説明の背後にある数値が、人間の回答と一致するかどうかを尋ねた。
研究者らは、モデルの推定を、2022～2023年度のHealthy Minds Studyに参加した米国の高等教育機関の学生76,406人の回答と比較した。人間のデータには女性、男性、ノンバイナリーの回答者が含まれ、この3集団でデータセットの97%を占めた。
GPT-4は、すべての集団について自己スティグマを過大評価した。平均推定値は女性で2.80だったのに対し、人間の回答では1.89だった。男性では2.91に対して2.19、ノンバイナリーの回答者では2.44に対して1.68だった。同時に、モデルは3つすべての集団について、個人的スティグマと認知されたスティグマを過小評価した。
モデルは、個人的スティグマと自己スティグマについては、人間のデータにおける順序を保った。男性が最初で、次に女性、そしてノンバイナリーの回答者が続いた。しかし、認知されたスティグマでは失敗した。人間のデータに見られたパターンとは異なり、ノンバイナリーの回答者が最も高いと推定したのである。
磨かれた推測ではなく検証された回答
この結果は、チャットボットが社会的態度について何も知らないという意味ではない。モデルは、誰がより強いスティグマを感じていると考えるかを学習できても、人々が実際にどれほどのスティグマを感じているかは知らないという意味である。そのため、特定の主張を集団データと照合していない限り、「人々がどう考えているか」について自信ありげに答えることは、社会の状態を測る指標としては不十分である。
研究者らによると、今回のプロンプトで測定したのは、統制された調査上の推定であり、自然で長時間にわたる会話での行動ではない。また、人間との比較に使ったのは米国の高等教育機関の学生なので、他の集団や文化的な環境を代表していない可能性がある。
大学の寮の部屋で、セラピストに会ったら同級生にどう思われるかを学生が支援アプリに尋ねるとする。その学生の集団について検証された根拠に結びついた回答を受け取ることもできる。あるいは、アプリがその主張はできないと答えることもできる。それは、モデルが学習したパターンに基づく、磨かれた推測を示すこととは異なる。
この未来を安全なものにするには、開発者はシステムが役立つことを意図する人々を対象に、そのシステムが使われる環境や会話の中で、社会的な主張を一つひとつ検証しなければならない。モデルや社会的態度が変化するにつれて、こうした確認も繰り返す必要がある。今回の結果からは、システムが実際の複数ターンにわたる支援会話でどのように振る舞うかまでは分からない。