【Gensim概念】03/3 NLP玩转 word2vec

第三部分 对象函数

八 word2vec对象函数

        该对象本质上包含单词和嵌入之间的映射。训练后，可以直接使用它以各种方式查询这些嵌入。有关示例，请参阅模块级别文档字符串。

类型

KeyedVectors

1） add_lifecycle_event(event_name, log_level=20, **event)

        将事件附加到该对象的生命周期事件属性中，还可以选择在log_level记录该事件。

        事件是对象生命周期中的重要时刻，例如“模型创建”、“模型保存”、“模型加载”等。

        Lifecycle_events属性在对象 和操作之间保持不变。它对模型的使用没有影响，但在调试和支持过程中很有用。save()load()

        设置self.lifecycle_events = None以禁用此行为。调用add_lifecycle_event() 不会将事件记录到self.lifecycle_events中。

参数：

• event_name ( str ) – 事件的名称。可以是任何标签，例如“创建”、“存储”等。

• 事件（字典）–

  要附加到self.lifecycle_events 的键值映射。应该是 JSON 可序列化的，所以保持简单。可以为空。

  此方法会自动将以下键值添加到event，因此您不必指定它们：

  • 日期时间：当前日期和时间

  • gensim：当前的 Gensim 版本

  • python : 当前的Python版本

  • 平台：当前平台

  • 事件：此事件的名称

• log_level ( int ) – 还以指定的日志级别记录完整的事件字典。设置为 False 则根本不记录。

2）add_null_word()

3）build_vocab(

        corpus_iterable=None, 

        corpus_file=None, update=False, 

        progress_per=10000, 

        keep_raw_vocab=False, 

        trim_rule=None, 

        **kwargs)

从一系列句子构建词汇（可以是一次性生成器流）。

参数

• corpus_iterable ( iterable of list of str ) – 可以只是标记列表的列表，但对于较大的语料库，请考虑直接从磁盘/网络流式传输句子的迭代。有关此类示例，请参阅BrownCorpus,Text8Corpus 或LineSentencemodule 。

• corpus_file ( str ,可选) – 格式的语料库文件的路径LineSentence。您可以使用此参数而不是句子来提高性能。仅需要传递句子或 corpus_file参数之一（而不是两者）。

• update ( bool ) – 如果为 true，句子中的新单词将添加到模型的词汇表中。

• Progress_per ( int ,可选) – 指示在显示/更新进度之前要处理多少个单词。

• keep_raw_vocab ( bool ,可选) – 如果为 False，则在缩放完成以释放 RAM 后将删除原始词汇。

• trim_rule (function, optional) -

  词汇表修剪规则，指定某些单词是否应保留在词汇表中、被修剪掉或使用默认值进行处理（如果字数 < min_count 则丢弃）。可以是 None （将使用 min_count，请查看），或者是接受参数（word、count、min_count）并返回、或 的keep_vocab_item()可调用函数 。该规则（如果给定）仅用于在当前方法调用期间修剪词汇，并且不存储为模型的一部分。gensim.utils.RULE_DISCARDgensim.utils.RULE_KEEPgensim.utils.RULE_DEFAULT

  输入参数有以下几种类型：

  • word (str) - 我们正在检查的单词

  • count (int) - 语料库中单词的频率计数

  • min_count (int) - 最小计数阈值。

• **kwargs ( object ) – 传播到self.prepare_vocab 的关键字参数。

 4）build_vocab_from_freq(

word_freq, keep_raw_vocab=False, 

corpus_count=None, 

trim_rule=None, 

update=False)

从词频词典中构建词汇表。

参数

• word_freq ( dict of ( str , int ) ) – 从词汇表中的单词到其频率计数的映射。

• keep_raw_vocab ( bool ,可选) – 如果为 False，则在缩放完成后删除原始词汇以释放 RAM。

• corpus_count ( int ,可选) – 即使没有提供语料库，此参数也可以显式设置 corpus_count。

• 修剪规则（函数，可选）-

  词汇表修剪规则，指定某些单词是否应保留在词汇表中、被修剪掉或使用默认值进行处理（如果字数 < min_count 则丢弃）。可以是 None （将使用 min_count，请查看），或者是接受参数（word、count、min_count）并返回、或 的keep_vocab_item()可调用函数 。该规则（如果给定）仅用于在当前方法调用期间修剪词汇，并且不存储为模型的一部分。gensim.utils.RULE_DISCARDgensim.utils.RULE_KEEPgensim.utils.RULE_DEFAULT

  输入参数有以下几种类型：

  • word (str) - 我们正在检查的单词

  • count (int) - 语料库中单词的频率计数

  • min_count (int) - 最小计数阈值。

• update ( bool ,可选) – 如果为 true，则word_freq字典中提供的新单词将被添加到模型的词汇中。

5）create_binary_tree()

创建二叉树( )

使用存储的词汇字数创建二叉霍夫曼树。频繁出现的单词将具有较短的二进制代码。从 内部调用build_vocab()。

估计内存（vocab_size =无，报告=无）

使用当前设置和提供的词汇量估计模型所需的内存。

参数

• vocab_size ( int ,可选) – 词汇表中唯一标记的数量

• report ( dict of ( str , int ) ,可选) – 从模型内存消耗成员的字符串表示形式到其大小（以字节为单位）的字典。

        返回

                从模型内存消耗成员的字符串表示形式到其大小（以字节为单位）的字典。

        返回类型

                (str, int) 的字典

6）get_latest_training_loss()

        获取训练损失的当前值。

        返回

                当前训练损失。

        返回类型

                浮点

7）init_sims（replace=False）

        预先计算 L2 标准化向量。已过时。

        如果您需要某个键的单个单位归一化向量，请 get_vector()改为调用： 。word2vec_model.wv.get_vector(key, norm=True)

        要在执行一些非典型带外矢量篡改后刷新规范，请改为调用:meth:`~gensim.models.keyedvectors.KeyedVectors.fill_norms()。

        参数

        Replace ( bool ) – 如果为 True，则忘记原始训练向量并仅保留标准化向量。如果您这样做，您就会丢失信息。

8）init_weights()

将所有投影权重重置为初始（未训练）状态，但保留现有词汇表。

9）classmethodload(*args, rethrow=False, **kwargs)

加载以前保存的Word2Vec模型。

也可以看看

save()

保存模型。

参数

fname ( str ) – 保存文件的路径。

退货

已加载模型。

返回类型

Word2Vec

10）make_cum_table(domain=2147483647)

        使用存储的词汇字数创建累积分布表，以便在负采样训练例程中绘制随机单词。

        要绘制单词索引，请选择一个随机整数，直到表中的最大值 (cum_table[-1])，然后找到该整数的排序插入点（就像通过 bisect_left 或 ndarray.searchsorted( )一样）。该插入点是绘制的索引，其按比例等于该槽处的增量。

11）predict_output_word(context_words_list, topn=10)

        获取给定上下文单词的中心单词的概率分布。

        请注意，即使在 SG 模型中，这也会执行 CBOW 式的传播，并且不会像训练中那样对周围的单词进行加权——因此，这只是使用经过训练的模型作为预测器的一种粗略方法。

参数

• context_words_list ( list of ( str 和/或 int ) ) – 上下文单词列表，可能是单词本身 (str) 或其在self.wv.vectors (int) 中的索引。

• topn ( int ,可选) – 返回topn单词及其概率。

        return

                topn长度的（单词，概率）元组列表。

        返回类型

                (str, float) 列表

12）prepare_vocab(

update=False, 

keep_raw_vocab=False,

 trim_rule=None, 

min_count=None, 

sample=None, 

dry_run=False)

对min_count（丢弃频率较低的单词）和样本（控制频率较高的单词的下采样）应用词汇设置。

使用dry_run=True进行调用只会模拟提供的设置并报告保留词汇的大小、有效语料库长度和估计的内存需求。结果均通过日志记录打印并以字典形式返回。

缩放完成后删除原始词汇以释放 RAM，除非设置了keep_raw_vocab 。

13）prepare_weights(update=False)

        根据最终词汇设置构建表格和模型权重。

14）reset_from(other_model)

        从other_model借用可共享的预构建结构并重置隐藏层权重。

        复制的结构是：

• 词汇

• 索引到词映射

• 累积频率表（用于负采样）

• 缓存语料库长度

        在同一语料库上并行测试多个模型时非常有用。然而，由于模型共享除向量之外的所有词汇相关结构，因此两个模型都不应该扩展其词汇量（这可能会使另一个模型处于不一致、损坏的状态）。而且，对每个单词“vecattr”的任何更改都会影响这两个模型。

参数

15）other_model ( Word2Vec) – 从中复制内部结构的另一个模型。

16）save(*args, **kwargs)

        保存（* args， ** kwargs）

        保存模型。可以使用 再次加载保存的模型load()，它支持在线训练和获取词汇向量。

        参数

        fname ( str ) – 文件的路径。

17）scan_vocab(

corpus_iterable=None,

 corpus_file=None, 

progress_per=10000, 

workers=None, 

trim_rule=None)

18）score(

sentences, 

total_sentences=1000000, 

chunksize=100, 

queue_factor=2, 

report_delay=1)

        对一系列句子的对数概率进行评分。这不会以任何方式改变拟合模型（参见train()参考资料）。

        Gensim 目前仅实现了分层 softmax 方案的分数，因此您需要在hs=1和negative=0的情况下运行 word2vec 才能正常工作。

        请注意，您应该指定total_sentences；如果你要求得分超过这个数量的句子，你就会遇到问题，但将值设置得太高是低效的。

        请参阅Matt Taddy 的文章：“通过分布式语言表示反转进行文档分类”和 gensim 演示，了解如何在文档分类中使用此类分数的示例。

参数

• Sentences ( iterable of list of str ) – Sentences iterable 可以简单地是 token 列表的列表，但对于较大的语料库，请考虑直接从磁盘/网络流式传输句子的 iterable。请参阅BrownCorpus、Text8Corpus 或模块LineSentence中的word2vec此类示例。

• Total_sentences ( int ,可选) – 句子计数。

• chunksize ( int ,可选) – 作业的块大小

• queue_factor ( int ,可选) – 队列大小的乘数（工作人员数量 * queue_factor）。

• report_delay ( float ,可选) – 报告进度之前等待的秒数。

19 seeded_vector(seed_string, vector_size)

20）

train(corpus_iterable=None, corpus_file=None, total_examples=None, total_words=None, epochs=None, start_alpha=None, end_alpha=None, word_count=0, queue_factor=2, report_delay=1.0, compute_loss=False, callbacks=(), **kwargs)

根据句子序列更新模型的神经权重。

注意：

        为了支持从（初始） alpha到min_alpha的线性学习率衰减以及准确的进度百分比记录，必须提供total_examples（句子计数）或total_words（句子中的原始单词计数） 。如果句子与之前提供的语料库相同，则可以简单地使用total_examples=self.corpus_count。build_vocab()

参数

• corpus_iterable ( str 列表的可迭代) –

  它corpus_iterable可以是简单的标记列表列表，但对于较大的语料库，请考虑直接从磁盘/网络流式传输句子的迭代，以限制 RAM 使用。请参阅BrownCorpus、Text8Corpus 或模块LineSentence中的word2vec此类示例。另请参阅有关 Python 中的数据流的教程。

• corpus_file ( str ,可选) – 格式的语料库文件的路径LineSentence。您可以使用此参数而不是句子来提高性能。仅需要传递句子或 corpus_file参数之一（而不是两者）。

• Total_examples ( int ) – 句子计数。

• Total_words ( int ) – 句子中原始单词的计数。

• epochs ( int ) – 语料库的迭代次数（epoch）。

• start_alpha ( float ,可选) – 初始学习率。如果提供，则替换构造函数中的起始alpha，以调用“train()”。仅当您想要自己管理 alpha 学习率时多次调用train()时才使用（不推荐）。

• end_alpha ( float ,可选) – 最终学习率。从start_alpha线性下降。如果提供的话，这将替换构造函数中的最终min_alpha，对于这一次对train()的调用。仅当您想要自己管理 alpha 学习率时多次调用train()时才使用（不推荐）。

• word_count ( int ,可选) – 已训练的单词计数。对于对句子中所有单词进行训练的通常情况，将其设置为 0。

• queue_factor ( int ,可选) – 队列大小的乘数（工作人员数量 * queue_factor）。

• report_delay ( float ,可选) – 报告进度之前等待的秒数。

• compute_loss ( bool ,可选) – 如果为 True，则计算并存储可以使用 检索的损失值 get_latest_training_loss()。

• callback（可迭代CallbackAny2Vec，可选）- 在训练期间的特定阶段执行的回调序列。

例子

>>> from gensim.models import Word2Vec
>>> sentences = [["cat", "say", "meow"], ["dog", "say", "woof"]]
>>>
>>> model = Word2Vec(min_count=1)
>>> model.build_vocab(sentences)  # prepare the model vocabulary
>>> model.train(sentences, total_examples=model.corpus_count, epochs=model.epochs)  # train word vectors
(1, 30)

21) update_weights()

        复制所有现有权重，并重置新添加词汇的权重。

九、classgensim.models.word2vec.Word2VecTrainables

class  gensim.models.word2vec.Word2Vect

基类：SaveLoad

        现在保留过时的类作为加载兼容性状态捕获。

1） add_lifecycle_event ( event_name , log_level = 20 , **evnt)

        将事件附加到该对象的生命周期事件属性中，还可以选择在log_level记录该事件。

        事件是对象生命周期中的重要时刻，例如“模型创建”、“模型保存”、“模型加载”等。

        Lifecycle_events属性在对象 和操作之间保持不变。它对模型的使用没有影响，但在调试和支持过程中很有用。save()load()

        设置self.lifecycle_events = None以禁用此行为。调用add_lifecycle_event() 不会将事件记录到self.lifecycle_events中。

参数

• event_name ( str ) – 事件的名称。可以是任何标签，例如“创建”、“存储”等。

• event（字典）–要附加到self.lifecycle_events 的键值映射。应该是 JSON 可序列化的，所以保持简单。可以为空。

  此方法会自动将以下键值添加到event，因此您不必指定它们：

  • 日期时间：当前日期和时间

  • gensim：当前的 Gensim 版本

  • python : 当前的Python版本

  • 平台：当前平台

  • 事件：此事件的名称

• log_level ( int ) – 还以指定的日志级别记录完整的事件字典。设置为 False 则根本不记录。

类方法加载（fname， mmap = None）

save()从文件中加载先前保存的对象。

参数

• fname ( str ) – 包含所需对象的文件的路径。

• mmap ( str ,可选) – 内存映射选项。如果对象是用单独存储的大型数组保存的，则可以使用mmap='r' 通过 mmap（共享内存）加载这些数组。如果正在加载的文件是压缩的（“.gz”或“.bz2”），则 必须设置“mmap=None”。

退货

从fname加载的对象。

返回类型

目的

提高

AttributeError – 当调用对象实例而不是类时（这是一个类方法）。

保存（fname_or_handle，单独= None， sep_limit = 10485760， ignore = freezeset({})， pickle_protocol = 4）

将对象保存到文件中。

参数

• fname_or_handle ( str或file-like ) – 输出文件或已打开的类文件对象的路径。如果对象是文件句柄，则不会执行特殊的数组处理，所有属性将保存到同一个文件中。

• 单独（ str或None列表，可选） –

  如果为 None，则自动检测正在存储的对象中的大型 numpy/scipy.sparse 数组，并将它们存储到单独的文件中。这可以防止大对象的内存错误，并且还允许对 大数组进行内存映射，以便在多个进程之间高效加载和共享 RAM 中的大数组。

  如果是 str 列表：将这些属性存储到单独的文件中。在这种情况下，不执行自动尺寸检查。

• sep_limit ( int ,可选) – 不要单独存储小于此值的数组。以字节为单位。

• ignore ( fredset of str ,可选) – 根本不应该存储的属性。

• pickle_protocol ( int ,可选) – pickle 的协议号。

class  gensim.models.word2vec。Word2VecVocab

基地：SaveLoad

现在保留过时的类作为加载兼容性状态捕获。

add_lifecycle_event ( event_name , log_level = 20 , **事件)

将事件附加到该对象的生命周期事件属性中，还可以选择在log_level记录该事件。

事件是对象生命周期中的重要时刻，例如“模型创建”、“模型保存”、“模型加载”等。

Lifecycle_events属性在对象 和操作之间保持不变。它对模型的使用没有影响，但在调试和支持过程中很有用。save()load()

设置self.lifecycle_events = None以禁用此行为。调用add_lifecycle_event() 不会将事件记录到self.lifecycle_events中。

参数

• event_name ( str ) – 事件的名称。可以是任何标签，例如“创建”、“存储”等。

• 事件（字典）–

  要附加到self.lifecycle_events 的键值映射。应该是 JSON 可序列化的，所以保持简单。可以为空。

  此方法会自动将以下键值添加到event，因此您不必指定它们：

  • 日期时间：当前日期和时间

  • gensim：当前的 Gensim 版本

  • python : 当前的Python版本

  • 平台：当前平台

  • 事件：此事件的名称

• log_level ( int ) – 还以指定的日志级别记录完整的事件字典。设置为 False 则根本不记录。

类方法加载（fname， mmap = None）

save()从文件中加载先前保存的对象。

参数

• fname ( str ) – 包含所需对象的文件的路径。

• mmap ( str ,可选) – 内存映射选项。如果对象是用单独存储的大型数组保存的，则可以使用mmap='r' 通过 mmap（共享内存）加载这些数组。如果正在加载的文件是压缩的（“.gz”或“.bz2”），则 必须设置“mmap=None”。

退货

从fname加载的对象。

返回类型

目的

提高

AttributeError – 当调用对象实例而不是类时（这是一个类方法）。

save（fname_or_handle，单独= None， sep_limit = 10485760， ignore = freezeset({})， pickle_protocol = 4）

将对象保存到文件中。

参数

• fname_or_handle ( str或file-like ) – 输出文件或已打开的类文件对象的路径。如果对象是文件句柄，则不会执行特殊的数组处理，所有属性将保存到同一个文件中。

• 单独（ str或None列表，可选） –

  如果为 None，则自动检测正在存储的对象中的大型 numpy/scipy.sparse 数组，并将它们存储到单独的文件中。这可以防止大对象的内存错误，并且还允许对 大数组进行内存映射，以便在多个进程之间高效加载和共享 RAM 中的大数组。

  如果是 str 列表：将这些属性存储到单独的文件中。在这种情况下，不执行自动尺寸检查。

• sep_limit ( int ,可选) – 不要单独存储小于此值的数组。以字节为单位。

• ignore ( fredset of str ,可选) – 根本不应该存储的属性。

• pickle_protocol ( int ,可选) – pickle 的协议号。