《动手学深度学习》笔记1.9——丢弃法 (一种正则化方法)
目录
1. 丢弃法（Dropout）
1.1 动机
1.2 无偏差加噪音
1.3 使用 Dropout (丢弃法)
1.4 总结
2. 代码实现
1. 丢弃法（Dropout）
1.1 动机
鲁棒性 (Robustness)：抗内外部干扰的能力，与稳定性、可靠性、安全性相关
————————————————— 加入噪音后：
1.2 无偏差加噪音
1.3 使用 Dropout (丢弃法)
- 主流学界将 Dropout 当作 正则项（实验结果接近，结果很好）
- Dropout最早是 Hinton(深度学习之父) 做出来的
1.4 总结
Dropout 的效果往往会比L2损失惩罚好一点点
2. 代码实现
李沐老师：
- Dropout 是多层感知机最主流的模型控制的方法（因此推荐大家去试着调参数dropout）
- 推荐把模型设得复杂一点点，再通过正则化去控制模型复杂度；这会比简单模型效果好
