当前位置：首页 > news >正文

面向三维分子相互作用学习的通用等变Transformer

news 来源：原创 2024/9/20 19:46:50

1 摘要

生物学和药物发现的许多过程都涉及分子之间的各种三维相互作用，如蛋白质与蛋白质、蛋白质与小分子等。由于不同的分子通常以不同的粒度表示，现有的方法通常使用不同的模型对每种类型的分子进行独立编码，从而无法学习各种潜在的相互作用。该论文首次提出将任意三维复合体普遍表示为几何集合图，使用一个模型编码所有类型的分子。然后，作者提出了一个通用的等变Transformer(GET)来有效地捕获领域特定的层次结构和领域不可知的交互物理。具体来说，GET由一个双层关注模块、一个前馈模块和一个层normalize模块组成，其中每个模块都是E(3)等变的，专门用于处理可变大小的集合。值得注意的是，与传统的基于池化的层次模型相比，GET能够保留所有级别的细粒度信息。对蛋白质、小分子和RNA/DNA之间相互作用的大量实验验证了所提出的方法在不同领域的有效性和泛化能力。

2 引文

分子相互作用，在化学、生物化学和生物物理学的研究中是至关重要的，并且是各种下游应用的基础过程，包括药物发现、材料设计等。分子相互作用有不同的类型，本文主要关注存在于双分子复合物中的相互作用，由蛋白质、小分子或RNA/DNA组成。具体来说，为了更好地捕捉它们的物理效应，作者通过三维几何来研究分子相互作用（提供原子坐标）。分子相互作用的建模在很大程度上依赖于分子的适当表示。最近的研究将图神经网络(gnn)用于此目的。这是因为图形自然地表示分子，将原子视为节点，将原子间的相互作用或键视为边。当进一步使用三维原子坐标时，几何图形用于取代传统的仅对拓扑进行编码的图建模。为了处理几何图形，提出了一些满足平移、旋转和反射E(3)等方差的等变gnn，它们在分子相互作用任务中表现出很好的性能。

尽管取得了令人鼓舞的进展，但在分子相互作用中仍然缺乏一种理想的、统一的跨域分子表示形式。小分子、蛋白质和RNA/DNA等不同结构域的分子通常以不同的粒度表示，分别由原子、残基和核碱基组成。现有的方法通常设计特定于领域的表示，并独立地为每个交互实例建模，它们在学习各种潜在的相互作用物理方面存在缺陷。因此，需要设计统一的跨域分子表示，但这并非易事。一方面，直接应用非共享的块级图，其节点对应于特定于领域的构建块，导致模型从一个域到另一个域的可移植性有限。其次，分解所有的分子为原子级图抛弃了块特异性(例如:每个原子属于哪个残基)而忽略了对表示学习有价值的启发式方法。如何设计一个通用的表示和通用模型来同时捕捉块级的特异性和原子级的可共享性，仍然是一个有待解决的问题。

在本文中，作者通过将涉及分子相互作用的复合体建模为集合的几何图来解决这个问题。这种表达遵循双层设计:在顶层，一个复合体以块的几何图形表示;在底层，每个块包含一组原子实例。处理这样的双层几何图是非常重要的，因为模型应该处理可变大小的块，并确保某些特定的几何形状。为此，作者提出了通用等变变压器(GET)，它由三个模块组成:双层关注模块、前馈模块和层归一化模块。双层关注模块采用稀疏的块级关注和密集的原子级关注两种方式更新每个原子的信息。前馈模块将块内几何信息注入到每个原子中，层归一化模块用于稳定和加速训练。所有模块在3D坐标方面都是E(3)等变的，在每个块内的所有原子方面都是排列不变的，并且无论块大小如何都可以工作。作者将GET与下图中的其他表示方法进行了比较。值得注意的是，GET的集合图的表述与基于图中的图的传统的基于池化的层次模型相关。然而，这些分层体系结构通常效率低下，并且在某些基于池化的聚合之后会掩盖细粒度信息，而GET能够同时保留原子级和块级信息。作者对蛋白质、小分子和RNA/DNA之间的各种分子相互作用进行实验。结果表明，GET在统一表示上优于传统的方法，包括特定领域的独立模型、单级统一表示和分层模型。作者还发现GET在捕获和传递不同领域的共享知识方面具有强大的潜力，并在RNA/DNA-配体结合亲和力预测方面实现了zero-shot性能。

3 方法

GET的基本架构如上图所示。从左到右:统一表示根据预定义的构建块将分子视为集合的几何图形;双层注意模块通过等变注意机制捕获稀疏的块级和密集的原子级相互作用;前馈网络将块级信息注入到块内原子中;层归一化用可训练的尺度和偏移量变换输入分布。

3.1 统一表示:几何图的集合

将复合物抽象为集合G = (V, E)的几何图，其中包括所有B个块，包括块之间的所有边，其中将边的类型区分为分子内连接或分子间连接。在由个原子组成的每个块中，表示一组原子特征向量，表示一组三维原子坐标。其中的第p行是原子p的特征向量，它总结了原子类型、块类型和原子位置码的可训练嵌入，即。并使用下面的距离公式计算top k近邻的块

3.2 通用等变变压器

3.2.1 等变双层注意模块

给定和原子的两个块i和j，GET首先得到如下查询、键和值矩阵:

原子级别的交叉注意值

其中为可选边特征，用于区分分子内边和分子间边 ;ϕA是一个2层多层感知机(MLP)，具有SiLU激活;RBF用径向基函数嵌入距离;表示块i和j中每个原子对之间的关系，然后通过映射到标量上，仅通过Softmax对的列就可以得到两个块之间原子级交叉关注α。

块级别的交叉注意值

式中，, N(i)表示i的邻域块。基本上，表示将中的所有值聚合后i与j的全局关系，然后将映射到一个标量上，通过Softmax在N(i)中得到块级交叉注意力β。有了原子级和块级的关注，可以更新块i中每个原子p的隐藏状态和坐标:

式中，||表示沿第二维的拼接;ϕv，ϕm， σv， σm均为mlp，其中ϕv和σ分别独立应用于输入矩阵的每一行;⊙计算逐元素的乘法。证明了无论块大小的值如何，更新后的变量和的形状保持不变。此外，由于α和β是E(3)不变的，所以对的更新是E(3)-等变的。还可以观察到，更新与每个块的原子排列无关。

3.2.2 等变前馈网络

这个模块分别更新每个原子的和。GET把的每一行都表示为h，并且把表示为。GET首先计算块的质心:

然后得到每个原子与质心之间的相对坐标，从而得到相应的距离表示r:

质心和距离表示随后被集成到h和x的更新过程中，以使每个原子都知道其块的几何背景，其中，ϕ，σ是mlp:

3.2.3 等变层归一化

层归一化可以稳定和加速深度神经网络的训练。这里的挑战是，需要在标准化坐标时额外考虑E(3)等方差。为此，GET首先提取整个图的质心为，其中收集了所有块中所有原子的坐标。然后，GET对单个原子的隐藏向量和坐标进行层归一化:

其中γ、β和σ是可学习的参数，计算所有原子坐标相对于质心的变化。因此，在减去所有原子的质心后，首先将坐标归一化为标准高斯分布，然后用σ进行缩放，然后恢复质心。此外，为了进一步体现坐标重新缩放为隐藏特征，GET在应用上述层归一化之前注入以下更新:

其中，ϕ是MLP。现有文献仅对E(3)不变特征实现层归一化或节点归一化，GET同时适用于E(3)不变特征和E(3)等变坐标。

4 实验

在本节中，通过实验回答以下三个问题:

(1)与使用特定领域的表示独立处理每个相互作用的实体相比，使用统一表示的建模复合物是否能更好地捕获几何相互作用(§4.1)?

(2)所提出的统一表示是否比普通的单级表示或基于池化的分层方法更具表现力(§4.2)?

(3)通过学习各种潜在的相互作用物理(§4.3)，所提出的方法是否可以推广到不同的领域?

4.1 与领域特定表示方法的比较

作者评估了GET在预测蛋白质和小分子之间的结合亲和力方面，与现有文献中具有特定领域表示的最先进的两分支模型。作者对已建立的pdbinding进行实验，并以30%为阈值，根据蛋白质的序列一致性拆分数据集(4709个生物分子复合物)。结果表1显示，GET大大超过了基线。与使用精细设计的领域特定模型对蛋白质和小分子进行独立编码的基线相比，GET的统一表示实现了仅使用一个模型的统一几何学习，更好地捕获了蛋白质和小分子之间的交互几何信息。值得注意的是，在只有一个编码器的模型中，GET也取得了显著的改进，因为GET的统一表示保留了特定领域的层次结构，而不是将所有类型的分子分解为原子图。

4.2 与经典统一表示方法的比较

作者将提出的统一表示与三种经典统一表示在蛋白质-蛋白质亲和力和配体结合亲和力进行比较:(1)块级方法将每个构建块分配到构建块定义特定于域的一个节点上(例如，蛋白质中的每个残基是一个节点);(2)原子水平方法把各种分子看作原子图;(3)分层方法首先在原子级图上实现消息传递，然后通过池化获得块级表示，以便在块级图上进一步传递消息。表2报告了PPA和LBA在3次运行中度量的平均值和标准偏差。无论相互作用的分子是大分子(即蛋白质)还是小分子，与单级表示或分层池化的基线相比，作者提出的统一表示的GET取得了明显更好的性能。这证实了GET的优越性，它来自于不同粒度的理想集成。此外，为了显示所提出的统一表示的灵活性，作者添加了GET-PS，它将小分子中的块定义为主子图而不是原子。GET-ps比GET有明显的优势，因为小分子中的片段通常有助于整体的相互作用。

4.3 跨领域泛化能力

来自不同领域的数据增强

作者将蛋白质-蛋白质亲和和蛋白质-配体亲和数据集混合进行训练，并分别在两个域的测试集上对模型进行评估。作者还在相同的设置下对ET、MACE和LEFTNet进行了基准测试。结果见表3，结果表明，GET在PPA和LBA上都从混合训练集中获益，而基线在大多数情况下受到负面影响。表5提供了混合pdbind和PPA的其他结果，其中GET显示出与混合训练集相比有显著改善。这些现象很好地证明了采用统一表示的GET的泛化能力。

DNA/RNA-配体亲和力的zero-shot预测

配体(小分子)与核酸(RNA/DNA)结合是一种更实际、更有意义、但也更具挑战性的场景，这种情况的数据既稀缺又昂贵。作者使用PDBbind中可用的149个数据点作为零射测试集，并使用PDBbind中其他结构域(即蛋白质-蛋白质、蛋白质-配体和RNA/DNA-蛋白质)的结合数据训练模型。表4显示GET表现出显著的零射击性能，在分子相互作用的不同域上实现了惊人的通用性。这两个实验都证实了GET在发现分子相互作用的各种潜在原理方面的潜力，这些原理能够推广到不同的领域。