投資家シミュレーターは沈黙を理解と取り違える

投資家の沈黙を予測できるシミュレーターでも、その投資家を理解できているとは限らない。この研究では、80人のボランティアが記録された意思決定を対象に、7種類の大規模言語モデル構成を検証した。その結果、単純に「昨日と同じ」とするルールが、最も優れたモデルと同じ程度に、全体的な取引活動を捉えた。証券取引アプリでは、同意を得た履歴を使い、実際に利用する人々を代表するテストを行うなら、銘柄や理由を間違えるアドバイス機能を提供しないという判断につながる可能性がある。

シミュレーターは投資家を理解しているように見えても、重要な部分を間違えることがある。誰かが明日取引するか、あるいは何もせずにいるかは予測できても、その銘柄や、買うのか売るのか、ポートフォリオへの影響、選択の理由までは外すかもしれない。そのため、合成された「ユーザー」は、金融アドバイスを検証したり、人の行動を説明したりする際の代わりとしては心もとない。

投資家を「理解する」には何が必要か

問題は、高い正解率が単純な近道を隠してしまうことだ。起こりうる日の大半は、取引がない日である。そのため、「取引なし」と頻繁に予測するシステムは、その人について多くを知らなくても、よい成績に見える。

人の次の行動を予測することは、一般的な投資家がしそうな行動をもっともらしく作り出すこととも違う。タイミングが重要だ。資産や取引の方向、そしてその後にポートフォリオがどうなるかも重要である。説明は筋が通って聞こえても、モデルが説明した通りの推論を使ったことを示すとは限らない。取引記録や閲覧履歴は、名前などの直接的な識別情報を削除しても、慎重に扱うべき嗜好や意図を明らかにすることがある。

簡単な答えを取り除く翌日テスト

この研究では、模擬取引環境で80人のボランティアの記録を使い、7種類の大規模言語モデル構成を検証した。ボランティアが使ったのは換金できない仮想通貨であり、市場の状況はリアルタイムで変化した。

このテストは、シミュレーションされた投資家が全般的にトレーダーらしく行動するかではなく、その人が次の取引日に何をするかを問うものだった。ある市場日の終わりに利用できる情報を使って、次の日の予測を行った。その後、新しい記録を加え、1回だけの予測ではなく、順次更新されるテストにした。

モデルは別々の問いで評価された。取引が起きたか、買いか売りか、どの資産が関わったか、その結果のポートフォリオがどのようなものになるか、そして説明が投資家自身の意思決定の見方と一致しているかである。

この評価によって、単純な落とし穴が明らかになった。取引が起きるかどうかの予測で最も優れたモデルの正解率は79.18%に達した。しかし、実際に取引があったケースの再現率はわずか34.85%で、人々が本当に取引した日を多く見逃していた。明日の活動は今日と似るとする単純なルールのほうが、全体的な活動の指標ではよく、正解率は79.82%に達した。

同じ食い違いは、より役立つ詳細にも現れた。買いか売りかの予測で最も優れたモデルでも、正しかったのは42.02%にすぎなかった。最も優れたモデルが、買いの日に候補として示した5つの中から買われた資産を当てた割合は40.7%、売りの日に売られた資産を当てた割合は42.9%だった。つまり、活動量が似ているからといって、投資の内容まで似ているわけではない。

このテストでは、モデルがどのように答えにたどり着いたかも調べた。最も強い活動予測モデルから直近の取引を取り除くと、正解率は大幅に下がった。それ以外の単一の情報源を取り除いても、変化はほとんどなかった。これは、投資家のより広い論理を確実に理解しているというより、直近の行動を繰り返す持続性が予測の主な支えになっていることを示している。参加者は、説明が自分の戦略とある程度一致していると評価したが、個々の意思決定の理由との一致度はそれより低かった。

より安全な製品はどのようなものか

証券取引アプリの設計会議で、チームは同意を得て記録されたユーザー履歴を使い、提案中のアドバイスチャットボットを検証できる。ユーザーが取引すると予測しても、間違った銘柄を挙げ、理由も間違っていれば、その機能はパーソナライズされたものとは呼ばず、提供しないことになる。このテストの価値は、シミュレーターを完全にすることではない。説得力のある合成人物を、より簡単に疑えるようにすることだ。

その未来を現実にするには、提供者は、シミュレーションされた人物の具体的な意思決定が、単に投資家らしい合計値を出すだけでなく、時間がたっても成り立つことを示す必要がある。そのためには、現実の利害を伴う前向きなテスト、繰り返しのフィードバック、プライバシー保護、そしてサービスを使う人々を代表する、より幅広い母集団が必要になる。著者らは、こうしたシステムを、現実の投資家に代わる信頼できるものとして、また重大な金融上の意思決定の唯一の根拠として扱うべきではないとしている。

出典

arXiv, Beyond Behavioral Accuracy: Evaluating Individual-Level Fidelity in LLM Investor Simulation