arXiv
3つの大規模言語モデル、質問の言い方で1時間の価格を変える
言語モデルは、同じ1時間の不便に異なる価格をつけ、質問の言い方を変えるだけでその価格まで変えることがある。研究者は193カ国を対象に5つのモデルを試験し、60分の予約遅延に対してどの程度の補償なら受け入れるかを尋ねた。こうしたエージェントがサービスで使われれば、フードデリバリーの利用者は、見えない国別の前提に左右されたものではなく、透明で比較可能な提案を受け取れる可能性がある。
現在、アシスタントは配達や予約、旅行の日程を変更できるが、顧客の1時間にどれほどの価値があるかを決める、確立された監査可能な方法はない。もしアシスタントがその判断を自ら行えば、2人の利用者が理由を知らないまま異なる提案を受け取る可能性がある。返金やクレジットは小さな細部に見えるかもしれないが、それでも、誰の不便のほうが高くつくのかを決める判断である。
1時間に価格をつけるとはどういうことか
ソフトウェアエージェントは、小さな経済的判断をますます任されるようになっている。遅延には返金を付けるべきか。より安い選択肢は、余分に待つ価値があるか。サービスでは、待ち時間とお金を比較するために、時間の金銭的価値を使うことが多い。所得や地域の物価は、失われた時間の実際の経済的コストに影響しうる。
しかし、それだけでは2人の顧客を異なる扱いにすべきかどうかは決まらない。言語モデルは、学習した情報のパターンを明確で安定した公平な判断ルールなしに再現することがある。1つの質問だけでは、通貨、実際の損失、利用者の好み、企業の方針が関わる現実のサービス内で、モデルがどのように振る舞うかを正確に知ることもできない。
同じ遅延、異なる答え
研究者は、この曖昧な問題を単純な試験に変えた。5つの大規模言語モデルに、予約が60分遅れた人に補償を提示した場合、受け入れるかどうかを尋ねた。提示額は$1から$25までとした。この試験を、国連加盟国193カ国のそれぞれについて5回ずつ繰り返した。
研究者は各国について、モデルの答えが「No」から「Yes」に変わる地点を調べた。その地点は、ロジスティック回帰と呼ばれる手法で推定した。平たく言えば、補償を拒否する状態から受け入れる状態へモデルが切り替わる可能性が最も高い提示額を見つける手法である。
結果は地理的に均一ではなかった。5つのモデルはいずれも、平均補償額が最も高い地域として欧州を挙げた。アフリカは概して最も低かった。欧州で受け入れられた補償額の平均は$12.20で、アフリカは$7.50だった。Claude-Haiku-4.5は、試験の全範囲にわたる国別推定値を示した。DeepSeek-V4-ProとGLM-5.2は、推定値と平均所得の間に最も強い関係を示し、R²の値は0.8を超えた。モデルはまた、現地の購買力を調整した所得に基づく推定と比べて、アジアと南米の国々を過小評価することが多かった。
こうしたパターンは、公平性のルールではない。著者らは、所得、GDP、忍耐力の指標は参照点であって、公平な支払いがどうあるべきかの証明ではないとしている。この試験では、すべての国に米ドルを使った。
より気がかりな結果は、言い方を変えたときに現れた。質問の文言を変えると、Claude-Haiku-4.5、GPT-5.4-Mini、Mistral-Large-3の答えは大きく変わった。ある言い換えた質問では、Mistral-Large-3は193カ国すべてに最高額の提示を割り当てた。DeepSeek-V4-ProとGLM-5.2はより一貫していた。つまり、モデルの答えを地図にしたものは、モデルが何を信じているかを固定的に示すものとは限らない。質問がどのように書かれたかを部分的に反映している可能性がある。


エージェントが提案を行うなら
ジャカルタのフードデリバリーアプリを想像してみよう。遅れて注文品が届き、アプリはクレジットか、再調整の機会を提案する。この種のシステムが現実のものになれば、顧客は、1時間をどれだけ安く買えるかという見えない推定ではなく、別の場所にいる比較可能な顧客に提示されるものと同じ選択肢を目にする可能性がある。
その結果を実現するには、サービスが正当な地域ごとのコストと、検証されていない国に関する前提を切り分ける必要がある。また、エージェントを監査し、提案の背後にある基準を説明する必要もある。そうでなければ、地理的な前提が、返金や配達クレジット、スケジュールの選択に関するルールへと静かに変わる可能性がある。エージェントが利用者に代わって行動する前に、その答えは言い換えた質問に耐え、判断ルールは検査できる状態になっていなければならない。