语言模型的发展
语言模型(文本的特征提取)
- 1、文法规则语言模型
- 2、统计语言模型
- 3、神经网络语言模型
- 语言模型
一、文法规则语言模型
- 略
二、统计语言模型
词袋模型
- n-gram
- tf-idf
- 词袋模型（Bag of Words Model）
- NLP：n-gram模型
三、神经网络语言模型
1、NNLM
2、RNNLM
3、word2vec
- 基于浅窗口的方法（Shallow Window-Based Methods）
- CBOW
- Skip-gram
- 一文说懂Cbow和Skipgram
- 【AI理论学习】理解词向量、CBOW与Skip-Gram模型
- 机器学习算法（十三）：word2vec
4、Glove
- 矩阵分解 共现矩阵
- 矩阵分解方法 (Matrix Factorization Methods）
- Glove模型的原理与代码
5、ELMo
- lstm
6、GPT
- 生成式，只在解码时用到attention, transformer
7、bert
- transformer
- 一文读懂BERT(原理篇)
- BERT模型的详细介绍
- Bert向量表示不能直接用于相似度问题的分析
8、GPT-2
9、ERNIE
10、GPT-3
- OpenAI发展史与GPT实现原理