当前位置：首页 > news >正文

python库（10）：SpaCy库实现NLP处理

news 来源：原创 2024/9/20 16:56:32

1 SpaCy简介

自然语言处理（NLP）是人工智能领域中一个重要的分支。它旨在使计算机能够理解、解释和生成人类语言。Python中的SpaCy库提供了丰富的功能和工具，SpaCy是一个开源的软件库，用于处理和操作自然语言文本，可以帮助我们轻松进行各种NLP任务。相比于其他NLP库，SpaCy的特点在于其高效性和易用性。它专为处理大规模文本数据而设计，拥有快速的管道处理能力，使得它在实际项目中非常实用。

2 SpaCy安装

首先通过pip来安装SpaCy。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple spacy

结果如下：

安装完成后，还需要下载SpaCy模型。模型包含了词汇表、语料库以及各种必需的数据资源。在这里，我们下载一个最常用的英语模型en_core_web_sm：

python -m spacy download en_core_web_sm

但是国内下载会失败，建议手动安装，下载地址如下：

Releases · explosion/spacy-models · GitHub

我这边下载的是en_core_web_lg-3.7.1

下载后到使用命令进行安装：

pip install F:/en_core_web_lg-3.7.1-py3-none-any.whl

注意：

模型后缀有sm/md/lg，sm/md/lg为描述大小的缩写：small（小）、medium（中）、large（大）。

也就是说en_core_web_sm、en_core_web_md、en_core_web_lg分别对应三种不同大小的nlp模型。主要差别在于准确率和加载时间

3 导入并加载模型

import spacy# 记在英文模型
nlp = spacy.load('en_core_web_lg')

4 基本功能

接下来，我们来看一些SpaCy的基本功能。

4.1 文本处理和标记化

SpaCy可以将一个文本分割成独立的标记（tokens），包括单词、标点符号等。

import spacy# 记在英文模型
nlp = spacy.load('en_core_web_lg')# 处理文本
text = "Hello, welcome to the world of natural language processing."
doc = nlp(text)# 打印标记化结果
for token in doc:print(token.text)

结果如下：

4.2 词性标注

SpaCy能够识别每个词的词性（如名词、动词、形容词等）。

import spacy# 记在英文模型
nlp = spacy.load('en_core_web_lg')# 处理文本
text = "Hello, welcome to the world of natural language processing."
doc = nlp(text)# 打印标记化结果
# for token in doc:
#     print(token.text)for token in doc:print(f'{token.text}: {token.pos_}')

结果如下：

4.3 命名实体识别

命名实体识别（NER）是指识别文本中具有特定意义的实体，如人名、地名、组织机构等。

import spacy# 记在英文模型
nlp = spacy.load('en_core_web_lg')# 处理文本
text = "Long live China"
doc = nlp(text)for ent in doc.ents:print(f'{ent.text}: {ent.label_}')

结果如下：

4.4 依存解析

SpaCy能够进行句法依存解析，以理解每个词在句子中的语法关系。

import spacy# 记在英文模型
nlp = spacy.load('en_core_web_lg')# 处理文本
text = "Hello, welcome to the world of natural language processing."
doc = nlp(text)for token in doc:print(f'{token.text}: {token.dep_} -> {token.head.text}')

结果如下：

5 高级功能

5.1 词向量

词向量（Word Vectors）是用于表示单词的高维向量，能够捕捉单词间的语义关系。SpaCy支持预训练的词向量，可以直接加载和使用。

这边我换了一个模型en_core_web_md，各位可以按照上面的步骤自行安装。

import spacy# 加载包含词向量的更大模型
nlp_large = spacy.load('en_core_web_md')# 获取词向量
doc_large = nlp_large("king queen man woman")
for token in doc_large:print(f'{token.text}: {token.vector[:5]}')

结果如下：

5.2 文本相似度

文本相似度计算是NLP中的常见任务之一，用于判断两个文本之间的相似程度。SpaCy的词向量可以用来计算句子或文档的相似度。

import spacy# 加载包含词向量的更大模型
nlp_large = spacy.load('en_core_web_md')doc1 = nlp_large("I love machine learning.")
doc2 = nlp_large("I enjoy artificial intelligence.")similarity = doc1.similarity(doc2)
print(f'Similarity: {similarity}')

结果如下：

5.3 自定义管道组件

SpaCy允许在其处理管道中添加自定义组件，以实现更个性化的处理。这对于特定任务非常有用。

import spacy
from spacy.language import Language@Language.component("my_component")
def my_component(doc):# Do something to the doc hereprint(f"Custom component processed:{doc}")return docnlp = spacy.load('en_core_web_lg')
nlp.add_pipe("my_component", name="print_info", last=True)
print(nlp.pipe_names)
doc = nlp("This is a sentence.")

结果如下：

5.4 训练自定义模型

SpaCy还允许用户训练自己的自定义NER模型。这对于处理特定领域的文本非常有用。以下是一个简单的示例，展示了如何训练一个自定义NER模型。

import spacy
import random
from spacy.training.example import Example# 创建空白模型
nlp = spacy.blank("en")# 添加NER管道
ner = nlp.add_pipe("ner")# 添加自定义实体标签
ner.add_label("GADGET")# 定义训练数据
TRAIN_DATA = [("Apple releases new iPhone.", {"entities": [(14, 20, "GADGET")]}),("Google launches new Pixel phone.", {"entities": [(21, 26, "GADGET")]})
]# 开始训练
nlp.begin_training()
for i in range(10):random.shuffle(TRAIN_DATA)losses = {}for text, annotations in TRAIN_DATA:doc = nlp.make_doc(text)example = Example.from_dict(doc, annotations)nlp.update([example], losses=losses)print(losses)# 测试自定义模型
doc = nlp("Amazon announces new Kindle.")
for ent in doc.ents:print(ent.text, ent.label_)

结果如下：