arXiv
パーソナライズされた埋め込みはチャット履歴なしで学習する
コンパクトなユーザーメモリがあれば、パーソナライズされたアシスタントはチャット履歴全体を持ち運ばずに好みを学習できる可能性がある。ただし大きなリスクは、満足度についてモデル自身が出した推測を信頼することだ。COPEの著者らは、256人のシミュレーションユーザーに学習済みの埋め込みを与え、疎なフィードバックで言語モデルを訓練した。キッチンで使う場合、モデルの自己評価が正確であり続ければ、何度も訂正しなくても、その人の予算や料理のスタイルに合った夕食を提案できる。
現在のパーソナルアシスタントがあなたを覚えておく方法は、あまりよくない2つしかない。過去の会話を長く要約したものを持ち運ぶか、古い会話の断片を検索して新しいリクエストに貼り付けるかだ。そのメモリは現在の質問の隣でスペースを取り、関係のない情報を呼び戻すことがあり、それでもアシスタントがあなたの好みを一般的なものとして扱うたびに訂正しなければならない。明示的なフィードバックがほとんどなければ、提供者がシステムを改善するために使える証拠もほとんどない。
より小さな種類のメモリ
COPEは別の考え方から始まる。読みやすいプロフィールではなく、ユーザーごとにコンパクトな数値状態を与えるのだ。この状態はパーソナライズされた埋め込みと呼ばれる。「安い食事が好き」や「ゆっくりした旅行を好む」と書かれたリストではない。その代わり、1人の人に合った回答へ言語モデルを導く数値の集合である。
多くの人が共有モデルを使うため、このコンパクトさは重要である。1人のフィードバックをモデルに直接学習させると、その人への回答は改善する一方で、ほかの全員に対する振る舞いまで変わる可能性がある。別個のユーザー状態があれば、すべてのプロンプトを個人の履歴で埋め尽くすことなく、個人の好みを学習できる。
しかし、この状態は調べにくくもある。ユーザーや運用担当者は、その状態を簡単に読み取ったり、1つの誤った認識を訂正したり、モデルが正確に何を推測したのかを知ったりできない。また、モデルが自分の回答を誤って評価すると、その誤りから学習してしまう可能性がある。
失われた評価から学習する
論文で説明されているCOPEでは、各ユーザーの状態を、ユーザーのテキストの前に置く仮想トークンとして表す。これはユーザーに表示される言葉ではない。リクエストとともにモデルが読む、数値による追加の指針である。
この手法は、「Interact-Collect-Optimize」という反復ループで状態と共有モデルを更新する。アシスタントがリクエストに答える。ユーザーがコメントを付けると、そのテキストがユーザー埋め込みを変える。ユーザーが数値を付けると、その数値がモデルの自己評価の調整に役立つ。後のリクエストにフィードバックがない場合、モデルは不足している評価の代わりに、自分が予測したスコアを使える。
COPEは回答を2つの部分で採点する。回答が完全かどうか、そしてユーザーに合っているかどうかである。報酬はこの2つのスコアの積だ。論文の主な実験では、256人のシミュレーションユーザーが1ターンのタスクへの回答を受け取った。フィードバックが50%ある場合、COPEのスコアは10点満点で4.69だった。これは、訓練ベースのプロフィール・プロンプトの4.47、プロンプトにプロフィールを追加した場合の3.65を上回る。COPEを疎な検索と組み合わせると5.23に達した。
最も重要な数字は、あまり好ましいものではない。モデルの自己評価器が、方向性を判断した場合にユーザーのフィードバックによる順位付けと一致したのは、ペアの72.63%だった。つまり、誤った推測が訓練データになる機会が数多く残っている。ある回答が誰かを喜ばせたとシステムが判断し、その判断を次の回答の形作りに使うなら、その人が持っていなかった好みを強化する可能性がある。
メモリが信頼できるようになったら
キッチンでは、誰かが毎週、予算や食材、料理のスタイルについて同じ訂正を繰り返さずに、夕食のアイデアを尋ねられるようになる。アシスタントは、各リクエストに会話履歴全体を持ち込む代わりに、散在したコメントからそうした好みを学習できる。旅行予約のチャットでは、古い会話の要約を毎回表示しなくても、その人が好むペースやアクセシビリティのニーズに合った推薦ができる。
その未来は、好みが変わったときにも学習済みの状態が役立ち続けるかどうかにかかっている。また、提供者が永続的な好みを安全で、制御可能で、正確なものにできるかどうかにもかかっている。COPEのテストで使われたのは、LLMシミュレーター、あらかじめ生成して手作業で確認したクエリ、ユーザーごとに51回のインタラクション、そして1ターンのセッションだった。実際の人々、より長い関係、変化する好みが、モデルの内密な推測がユーザーの判断に代わる安全な手段になるかどうかを、なお示さなければならない。