NIPS 22： GGD Rethinking and Scaling Up Graph Contrastive Learning
Chat
文章是莫纳什 潘世瑞组的，（已经于今年暑期从莫纳什前往昆士兰），ARGA作者，这个组关于图对比学习的文章挺多，但是开源文章较少
本文rank：
读起来很吸引人，motivation也很自然，个人认为是自从2019DGI出来之后，在DGI上认真考虑并修改的工作，揭示了DGI成功的原因。而并非采用不同增强的方法，或者借鉴cv方向对比学习的方法进行修改。
亮点： O1复杂度，1epoch就可以训练，取消判别器D训练损失提高可扩展，给出理论证明s（图级表征）的上下界
文章不足： OGB-arxiv可以full-batch，products，papers100M 仍然采用了graphsage进行采样，只是一定程度上增强了可扩展性，相较于aaai22 那篇sugrl在这方面还是不足
知识盲区
关于复杂度的知识，本文有提及： InfoNce损失 O(ND) JSD 损失是 O(D) BGRL（BYOL在graph上的扩展）和GBT（barlow twins在graph上的扩展） 取消了 负样本，但是相似性计算 仍然会让复杂度变成 O（D）
本文方法 GGD （graph group discrimination）
1. 出发点
本文从 不恰当的激活函数 sigmoid出发，探究DGI。 DGI通过最大化节点和图级表征s之间的互信息，从而成为对比学习在graph上的paradigm。
DGI存在的问题：DGI并不能像作者想象的那样来最大化互信息，DGI获得s的方法是 求平均，并会采用sigmoid激活。但是DGI的GNN（GCN）权重初始化采用 Xavier初始化，这样会使得 s 这个图级向量 都会接近于相同的数值 εI，ε是一个常数，I是一个全1向量
这个现象是实验得出的，作者提出定理1来进一步论证：
通过修改ε，作者从0变为1，做了以下实验，这些实验，表明这个s其实并没有多大作用 trivial。那么DGI的假设：通过对比h和s似乎并不是真正成功的原因
重点修改：
从上面来看 这个s很小作用，并且最终常常趋近于epsilonI，因此作者采用I（全1，epsilon=1）来直接代替这个s。这样做的好处： 不需要鉴别器了！！！ 鉴别器D是一个基于bilinear的打分，需要对于每个节点和s进行打分，这个在样本对之间的乘法 通常会在前向和反向传播 消耗很多，
因此 DGI的损失成为：
其中，sum（zi)是因为zi （1D） 和s相乘，而s=1（D1），因此，表达的含义就是 zi的元素之和。 作者对于这个聚合也进行了变分，采用mean max linear来学习这个zi和s的结合方式 linear就说输出1D变成 11
sum和linear比较好
和DGI的对比，显著减小内存，Pubmed居然才需要 1629MB！！！ 时间上也更快
基于上面的sum公式1，本文提出简化版的 BCE的DGI
是一种二元交叉熵的形式，当节点属于原来的图，yi=1，节点属于被 破坏的图，yi=0， 这样的形式 就是 将两个图的所有节点进行 对比，判断h是原图还是被破坏的图，节点节点之间的对比：称为 group discrimination
MVGRL的实验，进一步说明 group discrimination
MVGRL通过diffusion 来augmented graph，从而多个视图之间进行对比，作者修改了他们的损失，形成bce MVGRL，也是ok的， ，，， 因为 这是 DGI的变分，也是采用了h和s之前最大化互信息
本文的model
1. 通过边和节点drop来增强
注意 这里不是来获得多个增强的视图进行对比，而是 每一轮 不同的增强视图 会增加鲁棒性
2. Corrupt
和 DGI一样，成行shuffle X
3.Siamese GNN = GNN encoder+projector
本文采用GCN作为encoder， projector是自定义的多层linear layers。 共享的GNN来输出 原图和 corrupt之后图的节点表征。 在进行第四步之前，所有样本先要采用相同的 聚合方式（sum mean max linear） hi=sum（zi）
4.group discrimination
BCE损失，yi=1，原图。 yi负样本。 采用hi和yi进行bce损失
tricks
GNNencoder 输出的H，通过几次 和邻接矩阵相乘 获得增强的H，和原来的H进行之和，从而进行下游任务
discussion
NCE和JSD损失
nce的分子 对于节点i需要zi和ci相乘1次，分母需要zi和整体相乘 整体一共N次，两个向量zi 1d和 ci 1d相乘 需要耗费 O（D）次。因此 InfoNCE整体是 O（ND） 。
JSD对于每个节点不需要 N个负样本进行对比，但是 判别器还是需要 zi和ci相乘 O（D）。
BRGL和GBT
BRGL 通过 最大化zi和hi余弦相似性（负号），只用关注自身（自己和自己对应的拉）
GBT 基于相关性，GBT的损失就类似于一个 协方差矩阵 ii越大越好，ij越小越好。
但这两个损失还是包括 了 两个向量相乘。和JSD一样是O（D）。
本文是 h和一个常量相乘，就相当于是 把 乘法变成 做加法。
由于是乘法问题，这里是通过加法，是否两个向量 做减法，能够相似性呢？--------- 引出了 基于margin loss的对比损失 aaai22 和接下来 要写的一篇文章subCon–icdm
实验
full-batch下，特别 节约内存
基于采样：graphsage
采样的超参数设置
丢掉D，如何来进行节点对之间的相似性判断，往前追溯，对比学习就是有度量学习的影子，如何判断表征之间的相似性问题 （内积–余弦，采用bilinear–dgi，采用margin—做减法，采用拼接–contact linear输出）
Proof of Theorem1
