tokenizer一些理解
Tokenization 指南：字节对编码，WordPiece等方法Python代码详解
大模型词表扩充必备工具SentencePiece
这两篇文章学完基本能够对tokenizer有一个清晰的认识
计算机要处理语言，首先需要将文本转换成数字形式。这个过程由一个称为标记化 Tokenization。
标记化分为2个过程
1、将输入文本划分为token
标记器首先获取文本并将其分成更小的部分，可以是单词、单词的部分或单个字符。这些较小的文本片段被称为标记。Stanford NLP Group[2]将标记更严格地定义为:
在某些特定的文档中，作为一个有用的语义处理单元组合在一起的字符序列实例。
2、为每个标记分配一个ID
标记器将文本划分为标记后，可以为每个标记分配一个称为标记ID的整数。例如，单词cat被赋值为15，因此输入文本中的每个cat标记都用数字15表示。用数字表示替换文本标记的过程称为编码。类似地将已编码的记号转换回文本的过程称为解码。
使用单个数字表示记号有其缺点，因此要进一步处理这些编码以创建词嵌入，这个不在本文的范围内，我们后面介绍。
标记方法
将文本划分为标记的主要方法有三种:
1. 基于单词
Cats are great, but dogs are better!
通过空格可以拆分为 ['Cats', 'are', 'great,', 'but', 'dogs', 'are', 'better!']
通过分隔标点和可以拆分为['Cats', 'are', 'great', ',', 'but', 'dogs', 'are', 'better', '!']
优缺点：基于单词的方法生成的标记包含高度的信息，因为每个标记都包含语义和上下文信息。但是这种方法最大的缺点之一是非常相似的单词被视为完全独立的标记。例如，cat和cats之间的联系将是不存在的，因此它们将被视为单独的单词。这在包含许多单词的大规模应用程序中成为一个问题，因为模型词汇表中可能出现的标记数量(模型所看到的标记总数)可能会变得非常大。英语大约有17万个单词，就会导致所谓的词汇爆炸问题。这方面的一个例子是TransformerXL标记器，它使用基于空白的分割。这导致词汇量超过25万。
解决这个问题的一种方法是对模型可以学习的标记数量施加硬限制(例如10,000) 。这将把10,000个最常见的标记之外的任何单词分类为词汇表外(OOV)，并将标记值分配为UNKNOWN而不是数值(通常缩写为UNK)。在存在许多未知单词的情况下，这会导致性能下降，但如果数据中包含的大多是常见单词，这可能是一种合适的折衷方法。
2. 基于字符
基于字符的标记法根据每个字符拆分文本，包括:字母、数字和标点符号等特殊字符。这大大减少了词汇量的大小，英语可以用大约256个标记来表示，而不是基于单词的方法所需的170,000多个。即使是东亚语言，如汉语和日语，其词汇量也会显著减少，尽管它们的书写系统中包含数千个独特的字符。
Cats are great, but dogs are better!
拆分成
['C', 'a', 't', 's', ' ', 'a', 'r', 'e', ' ', 'g', 'r', 'e', 'a', 't', ',', ' ', 'b', 'u', 't', ' ', 'd', 'o', 'g', 's', ' ', 'a', 'r', 'e', ' ', 'b', 'e', 't', 't', 'e', 'r', '!']
`
优缺点:
与基于单词的方法相比，基于字符的方法的词汇表大小要小得多，而且词汇表外的标记也要少得多。它可以对拼写错误的单词进行标记(尽管与单词的正确形式不同)。
但是这种方法也有一些缺点。使用基于字符的方法生成的单个标记中存储的信息非常少。这是因为与基于单词的方法中的标记不同，没有捕获语义或上下文含义(特别是在使用基于字母的书写系统的语言中，如英语)。这种方法限制了可以输入语言模型的标记化输入的大小，因为需要许多数字来编码输入文本。
3. 基于子词
基于子词的方法采取了折中的方案，将单词中的文本分开，创建具有语义意义的标记，即使它们不是完整的单词。例如，符号ing和ed虽然本身不是单词，但它们具有语法意义。
这种方法产生的词汇表大小小于基于单词的方法，但大于基于字符的方法。对于每个标记中存储的信息量也是如此，它也位于前两个方法生成的标记之间。
只拆分不常用的单词，可以使词形、复数形式等分解成它们的组成部分，同时保留符号之间的关系。例如，cat可能是数据集中非常常见的单词，但cats可能不太常见。
所以cats将被分成cat和s，其中cats现在被赋予与其他所有cats标记相同的值，而s被赋予不同的值，这可以编码复数的含义。另一个例子是单词tokenization，它可以分为词根token和后缀ization。这种方法可以保持句法和语义的相似性。由于这些原因，基于子词的标记器在今天的NLP模型中非常常用。