arXiv
ロボアドバイザーは一つの質問でリスク回答の誤りを見抜く
より安全なロボアドバイザーには、頼りないリスク回答をポートフォリオに反映する前に問い直す仕組みが必要である。論文の著者らは、家計の状況を固定したままリスクに関する回答だけを変えた世帯プロフィールを使い、7つの大規模言語モデルをテストした。銀行アプリでは、回答履歴を保存してルールを検証していれば、再来店した顧客に短い確認質問を一つだけ提示し、うっかりした回答によって退職口座が変更されるのを防げる。
現在のロボアドバイザーは、リスクに関する質問への一つの回答だけで、同じ人に大きく異なるポートフォリオの助言をすることがある。顧客が二度の機会に異なる回答をしても、その変化によって推奨される株式の割合が変わる可能性を知らされないこともある。システムは反応しているように見えながら、ノイズを含んでいるかもしれない回答を、ひそかに確固たる選好として扱うことがある。
一つの回答では不十分な理由
リスク許容度とは、より高いリターンを得られる可能性と引き換えに、どれだけの損失を受け入れられるかを意味する。適切な投資助言を構成する要素はそれだけではない。その人の投資期間、現金の必要性、損失を吸収できる能力、目標、保有資産も重要である。
一度きりの調査回答は、長期的な選好を完全に測るものではない。質問の文言、注意の向け方、気分、最近起きた出来事、あるいは生活上の実際の変化によって、回答は変わりうる。したがって、助言は変化した回答を無視すべきではない。難しいのは、本当の変化と、偶然の回答や安定しない回答を見分けることである。
従来のロボアドバイザーは、質問票と固定されたルールを使い、回答をモデルポートフォリオに結びつける。汎用の言語モデルも会話の中で似たことができるが、システムがどの回答に依拠しているのか、またどの程度強く依拠しているのかを顧客が確認するのは難しい。
間違いを見抜く質問
論文の著者らは、単純な監査方法を提案している。世帯の状況を固定し、同じリスクに関する質問への以前の回答を後の回答に置き換え、推奨される株式配分がどの程度変わるかを測る方法である。5つの提供元による7つの大規模言語モデルを使い、米国の800世帯のプロフィールをテストした。
リスクに関する回答だけを変えると、推奨された株式の割合は平均で10.5〜16.3ポイント動いた。回答が変わった世帯では、モデルによって24.1〜35.1ポイント動いた。著者らは、まったく同じプロンプトを再実行した場合にも助言が異なることを見つけたが、その変化はより小さかった。
変化した選好への回答がすべて間違っているという意味ではない。このテストの目的は、頼りにならないかもしれない回答にシステムが過剰に反応していないかを明らかにすることにある。台本に沿った確認テストでは、助言システムは、変化した回答が意図的なものだったのか、それとも誤解によるものだったのかを尋ねた。このやり取りによって、顧客が変化は本物だと確認した場合にはその変化に対応しながら、望ましくない変動の平均値は33.5ポイントから1.9ポイントに縮小した。
この結果は、質問票をめぐるより広い問題にも当てはまる。3,712世帯を対象にしたあるパネル調査では、41%が2年後、4段階のリスクに関する質問に別の回答をした。危機が起きていない状態で6か月後に再テストした別の調査でも、多くの人が評価を変えていた。したがって、変化した回答は、それだけで新たな金銭上の選好を示す証拠にはならない。
これはどのような形になるか
銀行アプリでは、再来店した顧客が「私は金融リスクを取るつもりがない」という回答を、よりリスクの高い選択肢に変えたとき、短い質問を一つだけ表示できる。その変化は意図したものか、それとも以前の回答を誤って訂正したものか、と尋ねるのである。顧客は、偶然の回答によって退職プランが変更される前に、それを修正できる。本当に状況が変わった人は、新しい選好を黙って平均化されるのではなく、確認できる。
その未来を実現するには、助言システムが以前の回答を保持し、小さな変化に対して意思決定ルールがどれほど敏感かを検証する必要がある。また、顧客に回答を確認または訂正する意味のある機会を与える必要もある。著者らは、このテストでは明確で台本に沿った返答を使ったため、現実の会話については引き続き検証が必要だと注意している。この論文が測っているのは推奨内容の変化であり、ポートフォリオが適切かどうか、投資がどのような成果を上げるか、顧客が害を受けるかどうかではない。