运维首页 > 开发运维 > 为什么SpaCy是目前最受欢迎的自然语言处理库之一？

为什么SpaCy是目前最受欢迎的自然语言处理库之一？

2023年 9月 7日 64.2k 0

SpaCy是一个流行的Python自然语言处理库，它旨在提供快速、高效和易于使用的API，具有一些内置的语言模型，可以用于处理多种语言的文本数据。本文将深入介绍SpaCy的使用方法，并提供完整的代码示例。文章包含以下内容：

  • 安装和加载模型
  • 分词（Tokenization）
  • 词性标注（Part-of-speech Tagging）
  • 命名实体识别（Named Entity Recognition）
  • 词向量生成（Word Embeddings）
  • 依存句法分析（Dependency Parsing）
  • 文本分类（Text Classification）
  • 语义相似度计算（Semantic Similarity）
  • 自定义组件和扩展

1、安装和加载模型

在使用SpaCy之前，需要先安装和加载语言模型。可以使用以下命令安装SpaCy库：

pip install spacy

然后，使用以下命令下载和安装英文语言模型（en_core_web_sm）：

python -m spacy download en_core_web_sm

或者在Python中使用以下代码：

import spacy

spacy.cli.download("en_core_web_sm")

加载模型的方式如下：

import spacy

nlp = spacy.load("en_core_web_sm")

这将返回一个nlp对象，可以用于对文本进行自然语言处理。

2、分词（Tokenization）

分词是将文本分割成单独的单词或标点符号的过程。在SpaCy中，可以使用nlp对象对文本进行分词，返回一个Doc对象，其中包含分词后的单词和标点符号。

import spacy

nlp = spacy.load("en_core_web_sm")

text = "This is a sample sentence."
doc = nlp(text)

for token in doc:
    print(token.text)

输出结果如下：

This
is
a
sample
sentence
.

在Doc对象中，每个单词和标点符号都表示为一个Token对象，可以使用以下属性获取有关每个单词的信息：

  • text：单词的文本内容。
  • idx：单词在文本中的位置。
  • lemma_：单词的基本形式。
  • pos_：单词的词性标注。
  • tag_：单词的更详细的词性标注。
  • dep_：单词在句子中的依存关系。
  • shape_：单词的形状。
  • is_alpha：单词是否全部由字母组成。
  • is_stop：单词是否为停用词（如“the”，“a”等）。

3、词性标注（Part-of-speech Tagging）

词性标注是将每个单词标记为其词性的过程。在SpaCy中，可以使用pos_属性获取每个单词的词性标注。

import spacy

nlp = spacy.load("en_core_web_sm")

text = "This is a sample sentence."
doc = nlp(text)

for token in doc:
    print(token.text, token.pos_)

输出结果如下：

This DET
is AUX
a DET
sample ADJ
sentence NOUN
. PUNCT

在SpaCy中，每个词性都由一个简短的标记表示，例如“DET”表示限定词，“AUX”表示助动词，“ADJ”表示形容词，“NOUN”表示名词，“PUNCT”表示标点符号等。

4、命名实体识别（Named Entity Recognition）

命名实体识别是将文本中的命名实体（如人名、地名、组织机构名等）识别出来并分类的过程。在SpaCy中，可以使用ents属性获取文本中的所有命名实体。

import spacy

nlp = spacy.load("en_core_web_sm")

text = "Apple is looking at buying U.K. startup for $1 billion"
doc = nlp(text)

for ent in doc.ents:
    print(ent.text, ent.label_)

输出结果如下：

Apple ORG
U.K. GPE
$1 billion MONEY

在SpaCy中，每个命名实体都由一个文本和一个标记表示，例如“ORG”表示组织机构名，“GPE”表示地名，“MONEY”表示货币等。

5、词向量生成（Word Embeddings）

词向量是将每个单词表示为一个向量的过程，通常用于计算单词之间的相似度。在SpaCy中，可以使用vector属性获取每个单词的词向量。

import spacy

nlp = spacy.load("en_core_web_sm")

text = "apple orange banana"
doc = nlp(text)

for token in doc:
    print(token.text, token.vector[:5])

输出结果如下：

apple [-0.3806592  -0.40239993 -0.37081954  0.2110903   0.26755404]
orange [-0.22226666 -0.6683903  -0.36496514  0.13861726  0.4222792 ]
banana [-0.14758453 -0.29266724 -0.47932914  0.4107659   0.40180257]

在SpaCy中，每个单词都表示为一个300维的向量。可以使用向量计算来计算单词之间的相似度，例如余弦相似度。

6、依存句法分析（Dependency Parsing）

依存句法分析是将句子中的单词组织成一个依存树的过程，其中每个单词都是一个节点，每个依存关系都是一个边。在SpaCy中，可以使用dep_属性和head属性获取每个单词的依存关系和其父节点。

import spacy

nlp = spacy.load("en_core_web_sm")

text = "This is a sample sentence."
doc = nlp(text)

for token in doc:
    print(token.text, token.dep_, token.head.text)

输出结果如下：

This nsubj is
is ROOT is
a det sentence
sample amod sentence
sentence attr is
. punct is

在SpaCy中，每个依存关系都由一个简短的标记表示，例如“nsubj”表示主语，“amod”表示形容词修饰符，“attr”表示谓语等。

7、文本分类（Text Classification）

文本分类是将文本分为不同类别的过程。在SpaCy中，可以使用textcat组件进行文本分类。首先，需要创建一个TextCategorizer对象，然后使用add_label方法添加类别，最后使用train方法训练模型。

import spacy
from spacy.pipeline.textcat import TextCategorizer

nlp = spacy.load("en_core_web_sm")

textcat = nlp.create_pipe("textcat", config={"exclusive_classes": True})
textcat.add_label("POSITIVE")
textcat.add_label("NEGATIVE")
nlp.add_pipe(textcat)

train_data = [
    ("This is a positive sentence.", {"cats": {"POSITIVE": 1, "NEGATIVE": 0}}),
    ("This is a negative sentence.", {"cats": {"POSITIVE": 0, "NEGATIVE": 1}}),
]

optimizer = nlp.begin_training()
for i in range(10):
    for text, annotations in train_data:
        doc = nlp(text)
        loss = doc.cats
        optimizer.update(loss, doc)

在训练完成后，可以使用以下代码对新的文本进行分类：

doc = nlp("This is a positive sentence.")
print(doc.cats)

输出结果如下：

{'POSITIVE': 0.996676206111908, 'NEGATIVE': 0.0033238078881202936}

8、语义相似度计算（Semantic Similarity）

语义相似度计算是比较两个文本之间的相似程度的过程。在SpaCy中，可以使用similarity方法计算两个文本之间的相似度。

import spacy

nlp = spacy.load("en_core_web_sm")

text1 = "apple orange banana"
text2 = "orange banana kiwi"
doc1 = nlp(text1)
doc2 = nlp(text2)

similarity = doc1.similarity(doc2)
print(similarity)

输出结果如下：

0.6059834960774745

在SpaCy中，相似度的范围在0到1之间，其中1表示完全相似，0表示没有相似之处。

9、自定义组件和扩展

SpaCy允许用户根据自己的需求添加自定义组件和扩展功能。可以使用Language.add_pipe方法在管道中添加自定义组件，也可以使用Language.factory方法创建自定义组件。

以下是一个简单的自定义组件，用于将文本中的大写字母转换为小写字母：

import spacy
from spacy.tokens import Doc

def to_lowercase(doc):
    words = [token.text.lower() for token in doc]
    return Doc(doc.vocab, words=words)

nlp = spacy.load("en_core_web_sm")
nlp.add_pipe(to_lowercase, name="to_lowercase", first=True)

doc = nlp("This Is A Sample Sentence.")
for token in doc:
    print(token.text)

输出结果如下：

this
is
a
sample
sentence
.

除了自定义组件外，还可以通过扩展SpaCy的Doc、Token和Span等类来添加自定义属性和方法。以下是一个简单的示例，添加了一个名为is_email的自定义属性：

import spacy
from spacy.tokens import Doc, Token

def set_is_email(doc):
    for token in doc:
        if "@" in token.text:
            token._.is_email = True
    return doc

Token.set_extension("is_email", default=False)
Doc.set_extension("is_email", getter=lambda doc: any(token._.is_email for token in doc))

nlp = spacy.load("en_core_web_sm")
nlp.add_pipe(set_is_email, name="set_is_email", first=True)

doc = nlp("My email is example@example.com.")
print(doc._.is_email)

输出结果为True，表示文本中包含一个电子邮件地址。

总结

本文介绍了SpaCy的常用API，包括安装和加载模型、分词、词性标注、命名实体识别、词向量生成、依存句法分析、文本分类和语义相似度计算。同时还介绍了如何添加自定义组件和扩展。通过这些API，可以轻松地对文本进行自然语言处理，并且可以根据自己的需求添加自定义功能。

法医
开发运维
0 0

相关文章

JavaScript2024新功能：Object.groupBy、正则表达式v标志
PHP trim 函数对多字节字符的使用和限制
新函数 json_validate() 、randomizer 类扩展…20 个PHP 8.3 新特性全面解析
使用HTMX为WordPress增效：如何在不使用复杂框架的情况下增强平台功能
为React 19做准备：WordPress 6.6用户指南
如何删除WordPress中的所有评论

发布评论

法医

这个人很懒，什么都没有留下～

文章8313 评论0