预训练语言模型PLM（课程笔记）
一：分为两种范式
1. Feature-based
预训练的模型参数（word-enbeddings）作为下游任务的输入，不更新预训练参数。
代表：word2vec，ELMO
2. Fine-tuning
在下游任务时对模型参数进行更新
代表：BERT，GPT
二：GPT模型与BERT对比
1.模型结构
GPT是第一个基于transformer架构的PLM，使用的是transformer的Decoder；而Bert使用的是transformer的Encoder，相比于GPT结构更简单。
2.预训练方式
GPT：自回归语言模型预训练（预测下一个词），单向的，更适合生成式任务。
BERT：掩码语言模型（MLM）和下一句预测（NSP），双向的，更适合文本理解的任务。
3.存在的问题
BERT用了MLM，pre-training和fine-tuning不能统一起来，且训练效率比较低。
三：GPT，GPT2，GPT3对比
整体趋势，模型越来越大，大力出奇迹。
GPT：Fine-tuning
GPT2：Zero-Shot Learning
GPT3：Few-Shot Learning，但不更新参数