使用GPT-4o mini融合GraphRAG技术进行实战应用
什么是gpt-4o mini
OpenAI 推出 GPT-4o mini，这是他们最具成本效益的小型模型。它的定价为每百万输入代币 15 美分，每百万输出代币 60 美分，比之前的 Frontier 型号便宜一个数量级，比 GPT-3.5 Turbo 便宜 60% 以上。目前，GPT-4o mini 在 API 中支持文本和视觉，未来还将支持文本、图像、视频和音频的输入和输出。该模型具有 128K 个 token 的上下文窗口，每个请求最多支持 16K 个输出 token，并且拥有截至 2023 年 10 月的知识
与其他大模型的比较
GPT-4o mini 已经在几个关键基准上进行了评估2。
推理任务： GPT-4o mini 在涉及文本和视觉的推理任务上优于其他小型模型，在文本智能和推理基准 MMLU 上的得分为 82.0%，而 Gemini Flash 为 77.9%，Claude Haiku 为 73.8%。
数学和编码能力： GPT-4o mini 在数学推理和编码任务中表现出色，优于市场上之前的小型模型。在测量数学推理的 MGSM 上，GPT-4o mini 得分为 87.0%，而 Gemini Flash 得分为 75.5%，Claude Haiku 得分为 71.7%。在测量编码性能的 HumanEval 上，GPT-4o mini 得分为 87.2%，而 Gemini Flash 得分为 71.5%，Claude Haiku 得分为 75.9%。
多模态推理： GPT-4o mini 在多模态推理评估 MMMU 上也表现出色，得分为 59.4%，而 Gemini Flash 为 56.1%，Claude Haiku 为 50.2%。
https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/
GraphRAG：解决大语言模型的三大痛点
传统大语言模型面临三个主要问题：信息过时、产生幻觉和缺乏溯源能力。这些问题严重限制了AI在实际应用中的表现。GraphRAG技术应运而生，旨在解决这些关键问题，为AI赋予更强大、更可靠的知识处理能力。
RAG技术简介：知识检索的基石
RAG（Retrieval-Augmented Generation）是GraphRAG的前身，它通过以下步骤工作：
建立知识库：将文档转化为可检索的数据结构。
文档分块和向量化：将文本切分并转换为向量表示。
语义检索：基于用户查询找到相关信息。
增强生成：结合检索到的信息生成回答。
然而，传统RAG也存在局限性，难以获得对数据集的全局洞察，这正是GraphRAG要解决的核心问题。
GraphRAG：知识图谱的力量
GraphRAG是微软开源的技术，其核心在于利用大语言模型构建反映数据集的知识图谱。它能够：
描述实体特征和关系
形成语义分层分组
连接分散信息
提供长文档的整体理解
这些特性使得GraphRAG在解决复杂查询和提供全局洞察方面表现卓越。
创建 LLM 生成的知识图谱
我们注意到 GraphRAG 的基本流程建立在我们之前的研究之上（在新标签页中打开）和存储库（在新标签页中打开）使用图形机器学习：
LLM 处理整个私有数据集，创建对源数据内所有实体和关系的引用，然后使用这些引用创建 LLM 生成的知识图。
然后，该图用于创建自下而上的聚类，将数据按层次结构组织成语义聚类（下图 3 中用颜色表示）。这种划分允许预先汇总语义概念和主题，这有助于全面理解数据集。
在查询时，这两种结构都用于为回答问题时的 LLM 上下文窗口提供材料。
图 3 显示了该图的一个可视化示例。每个圆圈代表一个实体（例如，一个人、一个地点或一个组织），实体大小表示该实体具有的关系数量，颜色表示相似实体的分组。颜色分区是一种建立在图形结构之上的自下而上的聚类方法，它使我们能够回答不同抽象层次的问题。
GraphRAG vs 传统RAG：突破性的改进
GraphRAG相比传统RAG有以下优势：
跨文档推理：能够连接多个文档中的信息，回答复杂问题。
宏观洞察：对整个知识库提供全局性理解。
语义结构化：通过知识图谱捕捉实体间的复杂关系。
这使得GraphRAG在企业决策、学术研究和复杂问题解决等领域具有巨大潜力。
实战：使用GraphRAG分析经典文学作品
为了展示GraphRAG的强大功能，我们将使用它来分析查尔斯·狄更斯的经典小说《圣诞颂歌》，并对比GPT-4o和新发布的GPT-4o mini模型的效果和成本。
GraphRAG实现步骤
检查Python版本（需要3.10-3.12）
使用pip安装GraphRAG：pip install graphrag
创建工作目录：mkdir -p RAGTest/input
下载《圣诞颂歌》文本
初始化工作空间：graphrag init RAGTest
配置API密钥和模型设置
索引和查询对比：GPT-4o vs GPT-4o mini
我们使用两种模型进行了对比测试，结果如下：
GPT-4o模型：
索引成本：$2.42
查询成本：$0.60
总成本：$3.01
GPT-4o mini模型：
索引成本：$0.03
查询成本：$0.05
总成本：$0.08
这个惊人的对比显示，使用GPT-4o mini可以将成本降低近37倍！
结果分析：质量与成本的平衡
为了客观评估两个模型的输出质量，我们使用了Claude AI作为裁判。评估结果如下：
GPT-4o：8分
GPT-4o mini：9分
令人惊讶的是，GPT-4o mini不仅大幅降低了成本，而且在这个特定任务中的回答质量甚至略高于GPT-4o。这一结果凸显了GPT-4o mini在某些应用场景下的卓越性价比。
conda create -n GraphRAG python==3.12
(base) mac@macdeMac-mini ~ % conda activate GraphRAG
(GraphRAG) mac@macdeMac-mini ~ % python --version
Python 3.12.0
(GraphRAG) mac@macdeMac-mini ~ % pip install graphrag
mkdir -p ./ragtest/input
https://microsoft.github.io/graphrag/posts/get_started/
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
GraphRAG的实际应用场景
GraphRAG技术在多个领域都有广阔的应用前景：
企业知识管理：整合和分析大量内部文档。
学术研究：快速总结和关联大量文献。
客户服务：提供更准确、全面的客户支持。
产品开发：分析市场趋势和用户反馈。
实施GraphRAG的关键考虑因素
在决定采用GraphRAG时，需要考虑以下几点：
数据质量：确保知识库中的信息准确、最新。
计算资源：评估所需的处理能力和存储空间。
隐私和安全：制定严格的数据保护措施。
模型选择：根据具体需求选择合适的语言模型。
结论：AI知识处理的未来
随着像GPT-4o mini这样高性价比AI模型的出现，GraphRAG技术将在企业知识管理和个人研究中得到更广泛的应用。在AI时代，掌握这些技术将成为提高生产力和竞争力的关键。
关键要点总结
GraphRAG通过知识图谱技术解决了传统RAG的局限性。
GPT-4o mini在某些任务中可以提供与GPT-4o相当甚至更好的结果，同时大幅降低成本。
实施GraphRAG需要考虑数据质量、计算资源、隐私安全等因素。
GraphRAG在企业决策、学术研究等领域有广阔应用前景。
在这个AI快速发展的时代，持续学习和实践像GraphRAG这样的前沿技术至关重要。关注Axton的频道，了解更多AI技术应用和提高效率的方法。
https://www.axtonliu.ai/blog/graphrag-ai-knowledge-graph-revolution-gpt4-vs-gpt4-mini