论文阅读——ELECTRA
论文下载：https://openreview.net/pdf?id=r1xMH1BtvB
另一篇分析文章：ELECTRA 详解 - 知乎
一、概述
对BERT的token mask 做了改进。结合了GAN生成对抗模型的思路，但是和GAN不同。
不是对选择的token直接用mask替代，而是替换为一个生成器网络产生的token。
然后训练模型时并不是只被破坏的token，而是训练一个辨别模型来预测这些被破坏的输入的每一个token是否是被生成模型生成的样本替代的。因为将GANs应用于文本很困难，所以生成损坏token的生成器是以最大似然进行训练的。
小generator和大discriminator共同训练，但判别器的梯度不会传给生成器
fine-tuning 时丢弃generator，只使用discriminator
二、网络结构和训练
1、模型训练两个网络G和D。
G：给定位置t，将该位置token替换为mask，输入到G，G输出一个概率，结合softmax层，来产生mask位置的xt，从而G产生损坏的输入。输出只在mask的token中计算分数，不是所有的token。
D：给定位置t，D预测xt是否是真的。输出只在mask的token中预测是不是真的，不是所有的。
对于给定一个随机位置序列，原始输入对应位置替换为[MASK] token，输入G，G学习恢复原始序列。D来分辨哪些token是被生成器产生的样本替换的。
文本损坏过程描述为：
2、损失函数为：
MLM损失的计算只计算m个，即m个被masked tokens
Disc损失 t的取值到 1..n，每个token都会更新参数
在训练过程中，discriminator的loss不会反向传播到generator（因为generator的sampling的步骤导致），在pre-training之后，只使用discriminator进行fine-tuning.