合成資料檢查抓出平淡的學校週次，忠實度評分卻看不出來

合成教育資料可能通過一般的準確度檢查，卻刪去了讓有用研究問題浮現的時間變化。這篇論文用圖形檢查測試了四組日本國中生，發現真實學習者群組每週的變化幅度，是合成群組的 2.6 到 4.9 倍。在學校研究入口網站中，如果這項檢查能在其他資料集和生成器上成立，就可能在平淡的合成時間線讓分析師投入數週工作之前發出警告。

即使真實班級正在變化，合成資料集中的一週也可能看起來很普通。一個班級可能分化出不同的讀書習慣、圍繞考試重新聚集，或在假期後恢復原狀。但使用受隱私保護教育紀錄的研究人員，通常只能先看到合成副本。他們可能花上數週在上面建立研究問題，直到對真實紀錄進行受控測試後，才發現那個模式根本不存在。更糟的是，一個原本可能提示出好研究問題的模式，可能在任何人有機會尋找它之前就已經被抹去了。

一般準確度檢查遺漏了什麼

合成資料的製作目標，是模仿真實紀錄，同時不揭露某個特定人士能被了解的資訊。差分隱私有助於限制這種風險，但隱私保護可能降低資料對分析的用途。

一種常見的檢查方式，是分別比較每個變數。它會詢問：在合成資料和真實資料中，讀書時間的平均值、變異數或其他摘要統計是否相近。這能讓副本看起來很可信。然而，它可能漏掉變數、學習者和週次之間的連結。資料集可以保留每個欄位各自的樣子，卻失去多個欄位隨時間一起變化的方式。

在一個研究人員先探索合成紀錄，再請資料保管者對敏感的真實紀錄測試特定結論的系統中，這一點很重要。如果合成學期的變化已被壓平，缺少的就不只是一個未通過驗證的結論。還有一個沒有人想到要提交的研究問題。

檢查平淡時間線的方法

這篇論文提出，應該觀察一張學習者行為的每週地圖，而不是一次檢查一個變數。研究檢視了 2022 年至 2025 年的四組年度學習者群體，每組包含 117 至 120 名日本國中生。每組涵蓋 18 個上課週，中間隔著六週的暑假。這些紀錄描述了六個時段區間中的每週讀書時間，數值是從數位教科書的操作紀錄估算而來。

作者將每週標準化後的學習者個人資料彼此比較，將足夠接近的學習者連結起來。在這張鄰近圖中，每個相連群組都是一個行為相似學習者的粗略群集。群組數量稱為 β0。這是一個粗略的測量，不是對班級的完整描述，而且高度取決於所選的距離閾值。

有用的訊號在於這個數字如何逐週變化。作者將真實群體與合成群體比較，也將每個合成資料集與 200 個打亂版本比較。打亂操作保留了每週各個特徵的個別計數，但破壞了原本的順序和共同變化。如果合成時間線確實承載了結構，它就應該看起來與自身的打亂版本不同。

但它的差異沒有大到足以分辨。在一個共同閾值下，真實群體的 β0 每週變化，是合成群體的 2.6 到 4.9 倍。在事先選定的四個閾值下，16 個合成變化值中沒有一個達到 16 個真實變化值中的任何一個。四組合成群體中有三組無法與各自的打亂版本區分；四組真實群體則全部可以區分。

在每一組群體中，合成資料也都把異常高的讀書活動放在有紀錄的期中考週。真實群體則沒有。發布的隱私摘要並沒有要求合成資料保留哪些時段和週次會同時為零，也沒有要求保留每週變化的身分和順序。這些遺漏有助於解釋：為什麼個別摘要看起來正確，時間線卻失去了原本的形狀。

警告可能帶來的改變

在學區的研究入口網站中，分析師可以打開一個讀書紀錄的合成學期，看到警告，指出它每週平靜的變化模式無法與打亂資料區分。這項警告會在分析師花上數週、圍繞一個無法支撐探索的模式建立研究之前出現。資料保管者可以只使用合成資料集及其 200 個排列版本來執行檢查，不必先動用對真實紀錄的稀缺存取權限。

如果這項檢查在更多資料集和生成器上都有效，它就能篩掉那些把群體的時間結構壓平的發布版本，即使標準忠實度評分看起來很好。保留共同軌跡和學習者之間連結的平台，比起只匹配個別平均值和變異數的平台，會有更明確的目標。

這不是一張證明合成資料適合用來提出教育主張的通用證書。證據來自一個科目、一所機構、一個平台和四組群體，作者也沒有聲稱差距大小能適用於其他情況。這項檢查測試的是一種結構特性。要測量真實資料與合成資料之間差異的大小，仍然需要存取真實資料。它的價值更早，也更有限：在最有價值的問題隨著發布版本一起消失之前，它可以揭示資料已經變得過於平淡。

來源

arXiv，「What fidelity metrics miss: a structural check on synthetic educational data」