利用PaddleNLP进行文本数据脱敏

最近在脱敏一些客服数据，同事用正则进行了一些处理，但是感觉针对人名、数量等信息还是无法处理，例如“北方种植了很多李子树”，李子树有可能被识别为人名，又如“美国采购坦克1005台，价值4500万比索”，如果之前的正则中没有“台”和“比索”两个词汇，就无法识别。

如果在脱敏过程中忽略了人名、数量等信息，可能造成严重后果。因此尝试使用了paddlenlp中的taskflow进行处理。主要思路就是利用ner工具，识别出所需的信息，并进行替换。整体效果如下：

原始段落：

昆明市公安局毒品中心调查人员江涛和刘明接到市指挥中心通知，前往边境进行毒品打击。10月15日开始在云南省楚雄市刘家洼村进行伏击，随身携带冲锋枪两只，手榴弹4枚。经过13天的等待后，并未抓获嫌疑人。经调查，10月15日傍晚，刘明私自外出会见了可疑分子并交换情报，收受了贿赂4500元，导致抓捕失败。省公安厅查明情况后，决定逮捕刘明。

处理结果：

昆明市公安局毒品中心调查人员【人员_1】和【人员_2】接到【地区_1】指挥中心通知，前往边境进行毒品打击。【时间_1】开始在【地区_2】【地区_3】【地区_4】进行伏击，随身携带冲锋枪【数量_1】，手榴弹【数量_2】。经过13天的等待后，并未抓获嫌疑人。经调查，【时间_2】，【人员_2】私自外出会见了可疑分子并交换情报，收受了贿赂【数量_3】，导致抓捕失败。省公安厅查明情况后，决定逮捕【人员_2】。

在脱敏过程中，如果简单的利用“*”代替原始的敏感内容，可能会造成很多歧义，因此处理时可以参照上面“引用结果”中的形式进行处理。如果不这样处理，可能会影响可读性（阅读者需要自己联想，星号内容究竟是地名还是人名），甚至导致无法阅读（例如上文，将所有的人名都换成星号，你将无法判断是谁会见了可疑分子）：

传统处理方式：

昆明市公安局毒品中心调查人员**和**接到***指挥中心通知，前往边境进行毒品打击。******开始在*************进行伏击，随身携带冲锋枪**，手榴弹**。经过13天的等待后，并未抓获嫌疑人。经调查，******，**私自外出会见了可疑分子并交换情报，收受了贿赂*****，导致抓捕失败。省公安厅查明情况后，决定逮捕**。

目前可以处理数量、地名、场所、人名、时间等五种信息，利用正则表达式（replace_long_substrings）还可以处理一些常见的数字/字母混合字符串（例如手机号、订单编号等）。

处理代码如下：

from paddlenlp import Taskflow
ner= Taskflow("ner")# 匹配长度超过5个字符的子串，由阿拉伯数字、常见标点符号、英文大小写字母组成，并用星号代替
# 可以针对订单编号、用户手机号等信息进行处理
def replace_long_substrings(s):pattern = r'[A-Za-z0-9!@$%^&*()+-_#]{5,}'str_index=1# 使用正则表达式查找所有匹配的子串matches = re.findall(pattern, s)# 遍历所有匹配的子串，替换为5个星号for match in matches:s = s.replace(match, "【符号串_"+str(str_index)+"】", 1)  # 只替换一次str_index+=1return s# 判断一个字符串中是否包含中文数字或英文数字
def contains_chinese_and_english_numbers(s):  # 匹配中文数字的正则表达式  chinese_number_pattern = re.compile(r'[一二三四五六七八九十零壹贰叁肆伍陆柒捌玖拾]+')  # 匹配英文数字的正则表达式  english_number_pattern = re.compile(r'[0-9]+')  # 判断字符串中是否包含中文数字和英文数字  contains_chinese_number = chinese_number_pattern.search(s) is not None  contains_english_number = english_number_pattern.search(s) is not None  # 如果字符串同时包含中文数字和英文数字，则返回True，否则返回False  return contains_english_number  or contains_chinese_number# 使用paddle完成敏感信息识别,能够识别数量_单位词（例如45亿元、37个技术提升等）、地名、场所、人名、时间
# 对于楼道单元号，可能处理不干净，比如东东方花园4号楼3单元304，可能无法识别3单元304
def replace_info_with_paddle_ner(s):# 存储返回结果result=[]# 敏感信息和替换词的对应关系，例如在一段文本中，# 敏感人名“张涛”出现了两次，“刘涛”出现了一次，# 需要保证“张涛”被替换为一个符号，例如“人物甲”，# 刘涛被替换为另一个符号，例如“人物乙”entity_dict={}num_index=1region_index=1position_index=1name_index=1time_index=1for i in ner(s):list_0,list_1=list(i)[0],list(i)[1]flag=1# 针对数量_单位词进行处理if list_1=="数量词_单位数量词":if not list_0 in entity_dict.keys():result.append("【数量_"+str(num_index)+"】")entity_dict[list_0]="【数量_"+str(num_index)+"】"num_index+=1else:result.append(entity_dict[list_0])# 针对地区和场所进行处理elif list_1 =="世界地区类":# todo 可能会存在一定的误识别，例如将“吐鲁番苹果”的前个字识别为“地名”if not list_0 in entity_dict.keys():result.append("【地区_"+str(region_index)+"】")entity_dict[list_0]="【地区_"+str(region_index)+"】"region_index+=1else:result.append(entity_dict[list_0])# 针对场所进行处理  elif list_1=="场所类":# todo 可能会存在一定的误识别，例如将“现场”两个字识别为“场所类”if not list_0 in entity_dict.keys() :result.append("【场所_"+str(position_index)+"】")entity_dict[list_0]="【场所_"+str(position_index)+"】"position_index+=1else:result.append(entity_dict[list_0])# 针对人名进行处理elif list_1=="人物类_实体":# todo 可能会存在一定的漏识别，例如生僻名字或者少数民族名字if not list_0 in entity_dict.keys():result.append("【人员_"+str(name_index)+"】")entity_dict[list_0]="【人员_"+str(name_index)+"】"name_index+=1else:result.append(entity_dict[list_0])# 针对时间进行处理elif list_1=="时间类_具体时间" or list_1=="时间类":# 只有包含数字时，才认为是真正的时间。# paddle会将“时间”识别为虚假的时间，因此需要额外处理if contains_chinese_and_english_numbers(list_0):if not list_0 in entity_dict.keys():result.append("【时间_"+str(position_index)+"】")entity_dict[list_0]="【时间_"+str(position_index)+"】"position_index+=1else:result.append(entity_dict[list_0])else:flag=0result.append(list_0)# 不属于上面的任意一个分类else:if flag:result.append(list_0)return "".join(result)if  __name__=="__main__":# 原始文本text="""昆明市公安局毒品中心调查人员江涛和刘明接到市指挥中心通知，前往边境进行毒品打击。10月15日开始在云南省楚雄市刘家洼村进行伏击，随身携带冲锋枪两只，手榴弹4枚。经过13天的等待后，并未抓获嫌疑人。经调查，10月15日傍晚，刘明私自外出会见了可疑分子并交换情报，收受了贿赂4500元，导致抓捕失败。省公安厅查明情况后，决定逮捕刘明。"""# 获得结果print(replace_info_with_paddle_ner(text))

目前还存在一些问题，例如开头的“昆明市公安局”被识别成了组织机构，而没有将“昆明市”三个字识别成地名；又如处理结果中，将“云南省楚雄市刘家洼村”识别为“【地区_2】【地区_3】【地区_4】”，没有将“云南省”“楚雄市”“刘家洼村”识别成一个完整的地名。代码中还注明了其他一些可能出现问题的细节，需要不断结合实际数据进行修改。