arXiv
文化在地化讓國家標籤把社交建議變得扁平
一個國家標籤可以讓 AI 聽起來像在地系統，但它提供的社交建議實際上可能只是乏味的全球平均。作者將四個語言模型與人類對 90 個社會中 150 個日常情境的評分進行比較。在聖保羅一間診所的候診室裡，如果模型是根據具代表性的在地證據接受測試，數位櫃檯接待員就能按照當地判斷調整建議。
助理通常能判斷某個行動是否大致上可以接受，但它無法可靠地解釋，這種判斷如何從一個社會變成另一個社會。聊天機器人即使獲得一個國家名稱，仍可能只因為把許多不同觀點平滑成一個安全的平均值，就提供聽起來很在地的建議。對於詢問眼神接觸、談話距離或其他日常互動的人來說，這個平均值可能既令人安心，又是錯的。
文化建議取決於什麼
日常規範不是固定不變的規則。同一個行為在一種情境下可以接受，在另一種情境下卻可能不合適。然而，大型語言模型是從文字中學習模式，而不是直接觀察具代表性的人群如何判斷行為。翻譯可以改變答案，卻不會因此讓答案符合使用該語言的人。說出一個國家名稱，可能營造出具備在地知識的表象，卻讓模型仍然依賴廣泛或刻板的聯想。
為了衡量這個落差，作者將四個語言模型與 90 個社會中 150 個日常情境的人類評分進行比較。人類基準來自 25,422 名在 2023 年 7 月至 2024 年 5 月間接受調查的人。這些是便利抽樣，而非全國代表性樣本，因此這項基準並不是任何社會的完美地圖。不過，它仍能讓人提出一個比「模型是否大致理解禮儀」更精確的問題：模型是否重現了不同社會之間的差異？
國家標籤不夠用的時候
答案往往是否定的。與調查資料相比，四個模型都把各個社會視為相似得多。即使模型被直接告知要考慮哪個社會，它們估算的社會間差異仍不到人類評分所測得差異的一半。
模型也很難匹配當地回答的模式。它們在各情境層級上的跨文化平均相關係數，介於 0.23 到 0.33 之間。視模型而定，有 49% 到 66% 的情境相關係數低於 0.30。這裡的相關係數，是衡量兩組答案是否一同上升或下降的指標：數值偏低，表示模型經常無法判斷哪些社會認為某個行動較能接受或較不能接受。
這種困難並不會在每種情境中以相同程度出現。相較於聊天或閱讀報紙等日常行為，模型在分辨不同社會對親吻和調情的看法時，表現相對較好。這很重要，因為文化適應不只是戲劇性強或明顯敏感的主題。它也涉及系統每天可能評論的那些細微行動。
用當地調查所使用的語言提示模型，準確度有小幅提升，但並沒有消除文化差異被壓縮的問題。在沒有指明任何社會時，四個模型中有三個的未經條件設定檔，最接近各自的美國設定檔；第四個模型則是第二接近。如此一來，聽起來中立的答案不一定是全世界的答案。它往往偏向某一個社會，卻掩蓋了這個事實。
經過在地測試的 AI 會是什麼樣子
如果這項結果成立，聖保羅一間診所候診室裡的數位櫃檯接待員就不只是切換語言而已。它可以根據當地判斷，對眼神接觸、談話距離和可接受的行為提供建議，因為這些判斷曾被用來測試系統，而不是被一個國家標籤取代。
這樣的未來需要具代表性的在地資料，也需要能重現社會間差異、而不是把差異抹平的模型。它也為開發者提供了更清楚的文化敏感度測試：測試的不是模型是否以葡萄牙語回應或提到巴西，而是它的建議是否遵循服務對象在行為層面的證據。
在那之前，跨越國界提供建議、教學、內容審核或社交互動的系統，都需要透過人類和在地驗證，來檢驗它們對日常規範的判斷。一個國家名稱和一個翻譯後的提示，並不能證明社交建議在當地可靠。