NLP模型笔记2022-01:浅谈语言模型
目录
- 1、语言模型与条件概率
-
- 1-1、条件概率
- 1-2、语言模型
- 1-3、Markov假设与HMM模型
- 1-4、平滑处理[解决句子0概率稀疏问题]
- 2、HMM源码实现
- 参考文献
1、语言模型与条件概率
1-1、条件概率
条件概率是指事件A在事件B发生的条件下发生的概率。条件概率表示为：P（A|B），读作“A在B发生的条件下发生的概率”。若只有两个事件A，B，那么，
条件概率的链式法则，也称为条件概率的乘法法则：
P(a,b,c)=P(a|b,c) P(b,c) = P(a|b,c) P(b|c) P(c)
条件概率的链式法则可以如下理解：
以 P(x(1),x(2),⋯,x(n))P(x(1),x(2),⋯,x(n)) 为例，可以看作 P(x(1))P(x(1)) 发生后，P(x(2)|x(1))P(x(1))P(x(2)|x(1))P(x