Custodian Guardian Layer · 结构保持性审计

EN · 中文

个人信息变了,
检测器却照样找得到。

把 PHI 换成逼真的替身,会让下游工具找不到它吗?在 11 个检测器、7 个 benchmark 上 —— 不会。

1,750 文档11 检测器7 benchmark · 7 语言脱敏方式 = transform
±2 pts已证明的等价区间

在 Custodian 实际脱敏的 57,112 个 span 上,检测器召回率 76.1% → 74.9%(−1.2 个百分点)。等价检验(TOST,p≈3×10⁻⁹)证明:这一变化 在 ±2 个百分点内与零统计等价 —— 小到不具实际意义。排名不变,旗舰 Llama 3.3-70B 几乎零变化。

transform 做了什么

ASQ-PHI · 一个文档
Anna S. · April 12 2023 · Methodist Hospital
Maria S. · March 13 2021 · Methodist Hospital

真实值 → 同类型的逼真替身。句子读起来仍然正常,原来能处理它的系统照样能用。

替身仍可被检测

脱敏 span 上的召回保留率(transformed ÷ original,重叠匹配 —— 检测器是否找到替身)。

系统保留率

那一点小差距来自哪里

40,165 个两边都找到;3,300 个丢失(50% 长度不变 —— 不是边界问题)。原因是替身质量,不是检测器变差:

ChicagoIllino   El PasoEl  残缺/乱码
Cedars-SinaiVidant  著名→冷门
nachorutor@…nxxxxxxxxx@…  ID 被 x 化

三类都是可修复的替身生成缺陷 —— 不是 transform 把完整的 PHI 藏起来了。

结论

可检测性得到保持。替身 93–100% 仍能被找到,排名不变。

覆盖率单独报告。transform 脱敏了约 80% 的真实临床 PHI(通用文本更低);上面的效用结果只在它确实脱敏的 span 上测量。

幻灯片

▶ 在浏览器里直接浏览幻灯片

5 页讲解(可切换 EN / 中文)—— 无需下载。

Workshop 论文

📝 阅读 workshop 论文(PDF)

投稿临床/隐私 NLP workshop 的初稿 —— 配对多检测器协议、TOST 等价检验,以及遮蔽/开源替身对比实验。(论文正文为英文)