当前位置：首页 > news >正文

Knowledge Graph Large Language Model (KG-LLM) for Link Prediction

news 来源：原创 2024/9/20 19:30:34

文章目录

- 题目
- 摘要
- 简介
- 相关工作
- 方法论
- 实验
- 结论和未来工作
- 附录

题目

用于链接预测的知识图谱大型语言模型 (KG-LLM)

在这里插入图片描述

论文地址：https://arxiv.org/abs/2403.07311
项目地址： https://anonymous.4open.science/r/KG-LLM-FED0

摘要

知识图谱 (KG) 中的多跳链接预测任务是知识图谱分析领域的一项挑战，因为它要求模型在做出预测之前推理并理解所有中间连接。在本文中，我们介绍了知识图谱大型语言模型 (KG-LLM)，这是一个利用大型语言模型 (LLM) 执行知识图谱任务的新型框架。我们首先将结构化知识图谱数据转换为自然语言，然后使用这些自然语言提示来微调 LLM，以增强 KG 中的多跳链接预测。通过将 KG 转换为自然语言提示，我们的框架旨在学习实体及其相互关系的潜在表示。为了展示 KG-LLM 框架的有效性，我们微调了该框架中的三个领先 LLM，包括 Flan-T5、Llama2 和 Gemma。此外，我们探索了该框架为 LLM 提供零样本能力以处理以前未见过的提示的潜力。实验结果表明，KG-LLM 显著提高了模型的泛化能力，从而可以在不熟悉的场景中做出更准确的预测。我们的代码可以在 https://anonymous.4open.science/r/KG-LLM-FED0 上找到。

简介

在数据表示和组织领域，知识图谱 (KG) 已经成为一种结构化且有效的方法，近年来引起了人们的极大兴趣。尽管 KG 中的双节点链接预测已经取得了有希望的结果，但多跳链接预测仍然是一项艰巨的任务。在现实生活中，多跳链接预测起着至关重要的作用，因为通常我们对两个相距很远的实体之间的关系更感兴趣，而不是直接连接。这要求模型通过中间实体及其关系进行推理。另一个挑战是调试 KG 模型预测的问题，特别是在判别预测的背景下，模型缺乏解释推理步骤，掩盖了错误的来源，降低了准确性和性能。因此，开发能够生成并精确预测知识图谱中多跳链接的模型是一项关键挑战。

从历史上看，解决知识图谱相关任务的方法可以追溯到基于嵌入的方法，以及最近 LLM 的进步 [28]。最初，基于嵌入的方法起着至关重要的作用，利用技术将知识图谱中的实体和关系表示为低维向量，以通过保留图的结构和语义完整性来解决链接预测任务 [2, 30, 5, 13]。随着该领域的发展，LLM 的集成开始提供新的范式，利用大量数据和高级架构进一步增强知识图谱的预测能力和语义理解 [1, 38, 39, 37, 22]。这种转变表明知识图谱的预测能力和语义理解能力正在显著提高。

从使用纯数学表示到更具情境感知能力的方法（可以更好地理解知识表示）的改进。尽管取得了这些成功，但我们的研究强调了先前方法尚未完全解决的三大挑战，我们的方法旨在解决这些挑战。首先，主要关注判别性而非生成性模型和结果，而不是推理过程，这凸显了现有方法的差距，凸显了需要善于利用推理来解决 KG 中的多跳链接预测的模型。其次，现有方法主要侧重于预测两个直接节点之间的链接，而多跳链接预测领域基本上尚未探索。

在这里插入图片描述

这种限制影响了模型导航和推断扩展节点序列之间的连接的能力。最后，传统模型通常缺乏泛化能力，使得它们在面对看不见的任务时效果较差。为了弥补这些差距，我们提出了知识图谱大型语言模型 (KG-LLM)，这是一种新颖的多跳链接预测方法。如图 1 所示，知识图谱中的节点通过特定关系相互连接。最初，我们的框架从原始知识图谱数据集获取输入。经过预处理后，知识图谱中的所有路径将转换为思路链 (CoT) 提示 [33]，每个提示包含一系列关系语句，可表示为 {节点 1 (与节点 2 有关系 x)，节点 2 (与节点 3 有关系 y)，等等}。多跳问题的复杂性由其路径长度和节点数决定。

通过对三个大型语言模型 (LLM)：Flan-T5 [31]、Llama2 [24] 和 Gemma [23] 进行指令微调 (IFT) [31]，我们的框架已准备好在测试阶段增强多跳链路预测性能。此外，通过整合上下文学习 (ICL) [35]，该模型不仅得到了改进，而且还具有解决未见提示的能力，展示了我们的方法在解决多跳链接预测挑战方面的创新性。我们的研究提出了 KG-LLM 框架作为多跳链接预测任务的创新方法。我们的主要贡献是：

通过将知识图谱转换为 CoT 提示，我们的框架使 LLM 能够更好地理解和学习实体的潜在表示及其在知识图谱中的关系。
我们对真实世界数据集的分析证实，我们的框架改进了 KG 中的生成式多跳链接预测，强调了在训练期间结合 CoT 和指令微调的好处。
我们的研究结果还表明，我们的框架显着提高了 LLM 在响应未见提示方面的通用性。

方法论

在本节中，我们介绍所提出的 KG-LLM 框架。知识图谱定义让 KG = (E, R, L) 表示知识图谱，其中 E 是实体集，R 是关系集，L ⊆ E × R × E 是 KG 中作为边的三元组集。每个三元组 (ei, r, ei+1) ∈ L 表示存在一条从实体 ei 到实体 ei+1 通过关系 r 的有向边[29]。3.1.1 多跳链接预测多跳链接预测任务不仅限于两个节点之间的简单链接预测。它旨在识别知识图谱中多个关系步骤中缺失的连接。具体而言，给定形成连接路径的一系列观察到的三元组 Pobs = (e1, r1, e2),(e2, r2, e3), . . . ,(en−1, rn−1, en) ⊆ L，其中每个三元组 (ei , ri , ei+1) 表示实体 ei 和 ei+1 之间观察到的关系 ri。目标是通过回答 True 或 False 来预测是否存在缺失链接 lmiss = (e1, ?, en) [19, 26]。
在这里插入图片描述
图 2：多跳链路预测训练过程中使用的提示示例：通过消融框架处理的模型将使用消融知识提示进行训练（左），而通过 KG-LLM 框架处理的模型将在 KG-LLM 知识提示上进行训练（右）。

多跳关系预测多跳关系预测任务与多跳链接预测的概念密切相关，问题和输出之间存在关键区别。此任务不是确定缺失链接 lmiss 是否存在，而是预测关系。这一变化将重点从二元存在查询转移到识别绑定实体的特定关系 [16]。

知识提示知识提示是为 KG 设计的专门提示，它将给定的观察到的三元组 Pobs 序列转换为自然语言。通过在训练过程中利用知识提示，模型可以更有效地理解 KG 中存在的潜在关系和模式，从而提高多跳预测任务的整体性能。在图 3 中，我们为多跳链接预测和多跳关系预测定义了两种类型的知识提示，KG-LLM 知识提示和 KG-LLM（消融）知识提示。

这两种类型的提示展示了在多跳预测任务中增强模型性能的不同方法。KG-LLM 知识提示采用包含指令和输入的结构化格式。这种方法涉及根据数据集将节点和关系 ID 文本化为文本，并将复杂的输入分解为可管理的简洁过程。 KG-LLM 指令属于分类类别。通过列出指令中的所有可能选项，LLM 可以遵循并根据给定的选择生成响应。另一方面，我们从预期响应中删除消融知识提示和 CoT 推理过程中的指令和文本化 ID。这种方法以其清晰和简单而脱颖而出，提供了对 KG 的良好理解并提高了预测准确性。为了更好地说明我们的知识提示，我们在图 2 中提供了多跳链接预测任务的示例。

在这里插入图片描述
图 3：我们在消融和 KG-LLM 框架中的知识提示概述：消融框架的知识提示位于第一列和第三列。KG-LLM 框架的知识提示位于第二列和第四列。

此外，我们采用了一次性 ICL 学习的方法，专门针对我们最小的模型 FLAN-T5-Large 进行定制。这是因为，对于这种规模的模型，使用一次性 ICL 与少次 ICL 对准确性的影响最小 [3]。为了保持整个实验框架的一致性，我们对所有 LLM 应用相同的一次性 ICL 方法。这种统一的方法确保我们对模型性能的比较分析是在等效学习条件下进行的。我们在附录 A.1 中列出了所有 ICL 示例。

KG-LLM 框架我们的完整 KG-LLM 框架如图 1 所示。最初，以 KG 作为输入。每个节点都被迭代地分配为根，并使用深度优先搜索 (DFS) 提取所有可能的路径。然后删除重复的路径，仅保留节点数在 2 到 6 之间的路径。此范围基于“六度分离”理论 [7]，该理论指出，任何两个个体平均通过不超过六个中间人的链条相互联系。

节点数对应于跳数：单跳位于两个节点之间，两跳涉及三个节点，依此类推。这些路径被标记为正（第一个节点和最后一个节点之间存在连接）和负（没有连接）实例。我们观察到负实例的数量超过正实例，因此我们随机减少了负实例的数量以实现平衡的数据集。最后，这些路径被转换为 KG-LLM 和 KGLLM（消融）知识提示。在微调阶段，使用了三个不同的 LLM：Flan-T5-Large、Llama2-7B 和 Gemma-7B。我们将所有节点 ID 和关系 ID 作为特殊标记添加到这些 LLM 的词汇表中。我们为框架中的每个模型应用了不同的微调技术。在 Flan-T5 上采用了全局微调策略来提高其性能。

对于 Llama2 和 Gemma，实施了 4 位量化 LoRA（低秩自适应）修改 [10]。在训练过程中，我们使用交叉熵损失函数 L。它计算模型预测的标记概率与预期输出序列中的实际标记概率之间的差异。在以下等式中，n 表示预期输出序列的长度，x 代表输入指令，yi 表示预期输出序列中的第 i 个标记。
在这里插入图片描述
为了评估我们的 KG-LLM 框架，我们对每个模型进行了两次训练。如图 2 所示，初始训练课程采用 KG-LLM（消融）知识提示输入来建立基线。随后，我们使用指令微调来使用 KG-LLM 知识提示输入微调原始模型。

在训练阶段之后，我们对每个模型进行两个推理任务集，每个任务集包含两个子测试：非上下文学习 (non-ICL) 和上下文学习 (ICL)。推理任务的主要集合以多跳链接预测为中心。相反，次要集合探测模型在多跳关系预测中的泛化能力，特别是对于以前未见过的提示。通过在每个任务集内进行 ICL 前后评估，我们旨在评估 ICL 集成对 KG-LLM（消融）和 KG-LLM 框架的影响。

实验

在本节中，我们进行实验来评估所提出的 KG-LLM 框架的有效性，以回答以下几个关键研究问题：

Q1：在没有 ICL 的情况下，哪个框架在多跳链接预测任务中表现出更优异的功效？
Q2：加入 ICL 是否会提高模型在多跳链接预测任务上的性能？
Q3：KG-LLM 框架是否能够使模型具备在多跳关系预测推理过程中导航看不见的提示的能力？
Q4：应用 ICL 能否增强模型在多跳关系预测任务中的泛化能力？

实验设置数据集。我们在四个真实数据集上进行实验，WN18RR、NELL-995、FB15k237 和 YAGO3-10，它们由 OpenKE 库 [9] 构建。所有数据集通常用于评估知识表示学习领域的知识图谱模型。数据集的统计数据如表 1 所示。
任务拆分。在每个数据集的预处理阶段，我们随机选择 80% 的节点来构建 KG 的训练集。按照第 3.3 节中的步骤，我们构建了训练知识提示。为了进行验证，我们从训练知识提示中随机分离出 20% 的正例和负例。对剩余的 20% 节点应用相同的程序来创建测试集。

比较基线。为了评估我们的 KG-LLM 框架的有效性，我们在 4 个实验中比较了模型的性能：非 ICL 多跳链接预测、一次性 ICL 多跳链接预测、非 ICL 多跳关系预测和一次性 ICL 多跳关系预测。在非 ICL 多跳链接预测测试中，我们将我们的方法与几种传统方法进行了比较：

TransE [2] 是一种传统的距离模型，它将关系表示为嵌入空间中的翻译。
Analogy [14] 可以有效地捕获知识图结构以改进链接预测。
CompleX [25] 使用复杂的嵌入来表示实体和关系，捕获不对称关系。
DistMult [36] 将关系表示为对角矩阵，以简单高效。
RESCAL [17] 使用张量分解方法来捕获实体和关系之间的丰富交互。
wsGAT [6] 是一个图注意力网络，它使用加权自注意力机制来执行各种知识图任务。
ConGLR [12] 利用上下文感知图表示学习来增强链接预测。
ConvRot [11] 集成了卷积网络和旋转嵌入来执行各种知识图谱任务。

实施细节。我们在 A40 GPU 上对每个模型进行了 5 个 epoch 的训练，尽管资源有限，但模型仍然显示出有希望的结果。如第 3.3 节所述，我们将最大复杂度设置为五跳。我们还监控输入 token 大小以优化处理效率，注意到 Flan-T5 具有 512 个 token 容量，具有最小的 token 大小。因此，我们定制了实验以确保输入数据的最大长度不超过 512 个 token。

多跳链接预测指标。在评估模型在多跳链接预测任务中的性能时，我们使用了 ROC 曲线下面积 (AUC) 指标 [15] 和 F1 分数。 AUC 测量接收者操作特性 (ROC) 曲线下的面积，该曲线绘制了不同分类阈值下的真阳性率与假阳性率。阈值设置为 50% 的真阳性率和 50% 的假阳性率，因为测试用例中的正负数据点数量相等。AUC 值越高，表示模型区分正负示例的能力越强。同样，F1 分数范围从 0 到 1，测量准确率和召回率之间的平衡，值越高表示性能越好。

对于下面显示的性能表，最佳性能以粗体表示，而第二好的性能则用下划线表示。多跳关系预测的指标。我们使用准确率作为多跳关系预测任务的性能指标，它提供了模型正确性的总体衡量标准，以正确预测真实关系的测试用例百分比来计算。

在这里插入图片描述

无上下文学习的多跳链接预测本节在非上下文学习（non-ICL）链接预测的背景下分析了传统方法、消融框架和 KG-LLM 框架，如表 2 所示。传统方法显示在表格的上部，消融框架显示在中间部分，KG-LLM 框架显示在下部。

回答 Q1：我们的分析表明，传统方法的 GNN 模型，尤其是 ConvRot，表现出了相对较好的性能，尤其是在 WN18RR 数据集上超越了消融模型。这种 GNN 模型的性能可以归因于它能够有效地捕获图数据中的结构信息。然而，结果表明，在所有模型中，KG-LLM 框架的实现在所有数据集上都超越了传统方法和消融框架。这种改进的性能可以归因于 KG-LLM 框架的知识提示。这些提示使 LLM 能够利用 KG 中实体之间的关系网络及其互连。此外，这些 LLM 已经通过预训练掌握了基本的常识知识。当所有节点和关系都转换为文本时，这些固有的常识会增强他们对关系和节点的理解，从而提高链接预测准确性。指令微调 (IFT) 也通过强制模型关注有限的选项促成了这一改进。这里提供的证据强调了我们的 KG-LLM 框架的有效性，该框架富含 CoT 和 IFT，表明它在实际应用中推进多跳链接预测任务领域的潜力。

我们还评估了 GNN、消融和 KG-LLM 框架模型在 WN18RR 和 NELL-995 数据集中每个跳跃复杂度级别的性能。如图 4 所示，随着跳跃复杂度的增加，GNN 和消融模型的性能显着下降。仔细检查后发现，随着跳跃复杂度的增加，这些模型对大多数问题的回答往往为“否”，导致 F1 分数接近 0，AUC 分数在 0.5 左右。这种性能是由于多跳链接预测的复杂性增加。与预测两个节点之间的直接链接的简单任务不同，模型必须考虑所有中间节点才能得出结论，这增加了显着的复杂性并降低了其有效性。相比之下，KG-LLM 框架模型有效地解决了这一挑战，除了 Flan-T5 模型外，即使在五跳时也能保持公平的性能。
在这里插入图片描述

使用上下文学习进行多跳链接预测在本节中，我们评估上下文学习 (ICL) 对消融和 KG-LLM 框架模型的影响，排除传统方法，因为它缺乏 ICL 功能。我们使用与上一节相同的 LLM 和测试输入进行了实验。此评估的关键区别是在每个原始测试输入的开头添加一个 ICL 示例。附录 A.1 中显示的从训练数据集派生的 ICL 示例被限制为两跳的复杂度。此约束旨在防止通过 ICL 示例提供额外的知识，同时提供上下文相关的示例。

表 3 表明，在消融框架下，模型的性能得到了显著提升，Llama 2 和 Gemma 模型在 WN18RR 和 NELL-995 数据集中的 F1 和 AUC 得分均超过 80%。值得注意的是，在 KG-LLM 框架中采用 ICL 显著提高了性能。值得注意的是，Gemma 模型在第一个数据集上获得了惊人的 98% 的 F1 得分，而 Llama 2 在第二个数据集上获得了 96% 的 F1 得分。

一个有趣的观察是，ICL 在 Flan-T5 模型中表现出不稳定的改进。对于消融和 KG-LLM 框架中的某些数据集，实施 ICL 后性能略有下降。这种现象可以归因于测试提示的长度和复杂性增加。虽然包含 ICL 示例通常有助于理解模型，但在某些情况下，它可能会被视为噪音，从而可能影响 Flan-T5 的性能。

回答 Q2：实验结果表明，部署 ICL 并不能统一提升所有模型的性能。但是，对于 Llama 2 和 Gemma 模型，集成 ICL 可以持续促进性能提升。
在这里插入图片描述
图5：多跳关系预测性能比较：左图为消融框架下的模型性能，右图为KGLLM框架下的模型性能。蓝色条表示不使用ICL的测试，红色条表示使用ICL的测试。

没有上下文学习的多跳关系预测在本分析中，我们探讨了模型在WN18RR和NELL-995数据集上执行未见过的多跳关系预测任务的能力，排除了传统方法，因为它缺乏泛化能力。我们在多跳链接预测任务中使用了相同的测试数据集，以确保可比性和公平性。如第3.2节所述，区别在于向模型呈现的指令和提示问题。

我们的研究结果如表5所示。我们发现，这两个框架在没有ICL的情况下在这个任务中都表现出有限的性能。值得注意的是，KG-LLM框架表现出略微优越的性能。在审查预测结果后，我们发现该模型继续为大多数问题提供“是”和“否”的答案，类似于多跳链接预测任务。对于某些问题，它会输出随机响应。

回答问题 3：研究结果表明，KG-LLM 框架略微增强了模型的泛化能力。但是，断言我们的框架使模型具备了处理看不见的提示的能力还为时过早。这可以归因于新指令和选项的复杂性和难度。由于选项不再局限于二元是或否答案，模型可能难以理解更新后的指令并有效利用提供的选项。

基于上下文学习的多跳关系预测我们进一步探讨了将 ICL 纳入多跳关系预测任务的影响。附录 A.1 中显示了 ICL 示例。表 5 中红色条（使用 ICL）的结果显示与蓝色条（未使用ICL）相比，在ablation和KG-LLM框架下，模型的泛化能力都有显著提高。特别是，在带有ICL的KG-LLM框架下，Llama 2和Gemma模型在WN18RR数据集上的准确率超过了70%。
回答Q4：ICL的集成提高了模型在看不见的任务中表现优异的能力。尤其是KG-LLM框架，表现出了学习和利用ICL提供的上下文示例的能力。

结论和未来工作

我们的研究引入了知识图谱大型语言模型框架（KG-LLM框架），作为知识图谱分析中多跳生成预测任务的一种有前途的解决方案。通过利用思路链和指令微调等技术，KG-LLM框架处理的模型大大提高了KG相关任务的预测准确性。
在未来的工作中，我们将考虑在评估阶段访问模型的推理过程。

我们致力于进一步增强与 KG 相关的预测任务。我们将重点关注的一个关键方面是通过限制选项大小来改进指令过程。此外，我们计划探索使用提示质量过滤器来有效过滤掉嘈杂的选项，从而提高模型预测的整体准确性和可靠性。通过这些持续的改进，我们旨在提高 KG-LLM 模型的能力，并为知识图谱分析的进步做出贡献。

附录

A.1 上下文学习示例
A.1.1 Ablation 框架中的多跳链接预测 ICL 示例

/### 上下文：Node_47405 与 Node_46497 有 relationship_179。Node_46497 与 Node_46501 有 relationship_180。

Node_47405 是否与 Node_46501 有联系？

答案：是的。

A.1.2 KG-LLM 框架中的多跳链接预测 ICL 示例

/### 上下文：Node_47405 与 Node_46497 有 relationship_179。Node_46497 与 Node_46501 有 relationship_180。

Node_47405 是否与 Node_46501 有联系？答案：Node_47405 与 Node_46497 有 relationship_179，表示 Miles Davis 音乐艺术家与流派 Bebop 相关。 Node_46497 与 Node_46501 有 relationship_180，这意味着 Bebop 流派属于更广泛的流派爵士乐。因此，Miles Davis 音乐艺术家与流派爵士乐有关。

答案是肯定的。

A.1.3 Ablation 框架中的多跳关系预测 ICL 示例

/### 上下文：Node_47405 与 Node_46497 有 relationship_179。Node_46497 与 Node_46501 有 relationship_180。

Node_47405 和 Node_46501 之间有什么关系？

答案：Node_47405 和 Node_46501 之间的关系是 relationship_179。

A.1.4 KG-LLM 框架中的多跳关系预测 ICL 示例

/### 上下文：Node_47405 与 Node_46497 有 relationship_179。 Node_46497 与 Node_46501 有 relationship_180。

Node_47405 和 Node_46501 之间有什么关系？

答案：Node_47405 与 Node_46497 有 relationship_179，这意味着 Miles Davis 音乐艺术家与流派 Bebop 相关。Node_46497 与 Node_46501 有 relationship_180，这意味着 Bebop 流派属于更广泛的流派 Jazz。因此 Miles Davis 音乐艺术家与流派 Jazz 相关。
Miles Davis 和 Jazz 之间的关系是 music_artist_genre。