当前位置： 首页 > news >正文

Langchain-chatchat： Langchain基本概念

news 来源：原创 2024/9/30 3:22:12

一、Langchain的chain是指的是什么？

langchain字面意思是长长的链子，那么chains 链子具体指的是什么呢？

智普AI助手的回答如下：

LangChain 中的 “chain” 是指链式操作或者序列化操作，它是一种将多个任务或操作按照一定的顺序组合起来，以实现特定目标的方法。在 LangChain 框架中，这个概念主要用于描述一系列基于大型语言模型（LLM）的应用程序。

链式操作通常包括以下几个步骤：

  1. 用户向语言模型提出问题。
  2. 将问题转换为向量表示，并在向量数据库中进行相似性搜索。
  3. 从向量数据库中获取相关信息。
  4. 将相关信息馈送到语言模型以生成答案或采取行动。

通过将这些操作组合成链式结构，LangChain 允许开发人员灵活地构建各种由 LLM 驱动的应用程序。这种链式结构使得开发者可以轻松地定制和扩展应用程序的功能，同时保持代码的可读性和可维护性。

简单来说，Langchain就是将LLM串联起来进行的一系列链式操作， 对于简单的应用来说，孤立地使用LLM是没有问题的，但更复杂的应用需要将LLM串联起来–要么相互串联，要么与其他组件串联。

LangChain为这种 "链式 "应用提供了Chain接口。我们非常笼统地将链定义为对组件的调用序列，其中可以包括其他链。基本接口很简单：

class Chain(BaseModel, ABC):"""Base interface that all chains should implement."""
​memory: BaseMemorycallbacks: Callbacks
​def __call__(self,inputs: Any,return_only_outputs: bool = False,callbacks: Callbacks = None,) -> Dict[str, Any]:...

为什么我们需要链：

链允许我们将多个组件结合在一起，创建一个单一的、连贯的应用程序。例如，我们可以创建一个链，接受用户输入，用PromptTemplate格式化，然后将格式化的响应传递给LLM。我们可以通过将多个链组合在一起，或将链与其他组件组合在一起，建立更复杂的链。

看一个简单使用的例子：

LLMChain是最基本的构建块链。它接受一个提示模板，用用户输入的格式化它，并从LLM返回响应。

要使用LLMChain，首先要创建一个提示模板。

from langchain.llms import OpenAI
from langchain.prompts import PromptTemplate
​
llm = OpenAI(temperature=0.9)
prompt = PromptTemplate(input_variables=["product"],template="What is a good name for a company that makes {product}?",
)

我们现在可以创建一个非常简单的链，它将接受用户的输入，用它来格式化提示，然后将其发送到LLM。

from langchain.chains import LLMChain
chain = LLMChain(llm=llm, prompt=prompt)
​
# Run the chain only specifying the input variable.
print(chain.run("colorful socks"))
​Colorful Toes Co.

如果有多个变量，你可以用一个字典一次输入它们。

prompt = PromptTemplate(input_variables=["company", "product"],template="What is a good name for {company} that makes {product}?",
)
chain = LLMChain(llm=llm, prompt=prompt)
print(chain.run({'company': "ABC Startup",'product': "colorful socks"}))
​Socktopia Colourful Creations.

你也可以在LLMChain中使用一个聊天模型：

from langchain.chat_models import ChatOpenAI
from langchain.prompts.chat import (ChatPromptTemplate,HumanMessagePromptTemplate,
)
human_message_prompt = HumanMessagePromptTemplate(prompt=PromptTemplate(template="What is a good name for a company that makes {product}?",input_variables=["product"],))
chat_prompt_template = ChatPromptTemplate.from_messages([human_message_prompt])
chat = ChatOpenAI(temperature=0.9)
chain = LLMChain(llm=chat, prompt=chat_prompt_template)
print(chain.run("colorful socks"))
​Rainbow Socks Co.

chain的分类：

主要分为LLMChain，Sequential Chains，Router Chain，其中LLMChain是最基本的chain它简单的组合了LLM和promt, Sequential Chains主要包含SimpleSequentialChain和SequentialChain，对于SimpleSequentialChain来说它只是简单的将多个LLMChain串联在一起，前一个chain的输出是后一个chain的输入，所以总体上来说SimpleSequentialChain只有一个输入和一个输出，而SequentialChain则具体多个输入或输出。而Router Chain则是具有路由功能的chain ,它可以将用户的问题进行分类，从而将问题传递给特定的chain。

个人理解总结：

理解了chains的作用和意义，才能真正理解Langchain的作用和意义，个人理解，Langchain就像高达玩具一样，可以融合市场上主流的大模型，并且提供了组合调用链路以供使用者快速上手使用，也支持使用者自己定义组装自己的调用链路，以此来满足各种各种的场景需求，因此与其说Langchain是个框架和工具，倒不如说Langchain是一个设计模式或者理念，使用者不应该拘泥于某一种的使用方式，而是探索在不同的场景中如何让chains更加高效的工作，甚至是自定义自己的chains。

最后，来看看Langchain中文社区怎么介绍chains的。

链是由链接组成的，它可以是原语或其他链。原语可以是提示、模型、任意函数或其他链。这里的示例分为三个部分：

通用功能

涵盖了通用链（在各种应用程序中都有用的链)以及与这些链相关的通用功能。

二、Langchain框架的工作原理

工作流程：加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 prompt中 -> 提交给 LLM生成回答。

  1. 加载文件：将需要处理的文本文件加载到系统中。这些文本可以是百科全书、知识图谱或其他类型的知识源。
  2. 读取文本：从文件中读取文本内容，并将其转换为字符串格式。
  3. 文本分割：将输入的文本分割成单独的句子或段落。这可以通过正则表达式、分词器或其他文本处理方法实现。
  4. 文本向量化：将分割后的文本转换为数值向量。这可以通过词嵌入方法（如 Word2Vec、GloVe 等）或将文本转换为独热编码（one-hot encoding）来实现。
  5. 问句向量化：将用户输入的问句转换为数值向量。与文本向量化类似，可以使用词嵌入方法或独热编码来实现。
  6. 匹配查询：使用相似度计算方法（如余弦相似度、Jaccard 相似度等）在文本向量中找到与问句向量最相似的 top k 个文本片段。这些相似的文本片段可以作为上下文和问题的一部分，添加到 prompt 中。
  7. 构建 prompt：将匹配到的文本片段和原始问题组合成一个完整的 prompt。例如，“您的问题关于 […]，以下是与您问题相关的上下文： […]，请回答 […]”。
  8. 提交给 LLM 生成回答：将构建好的 prompt 提交给大型语言模型（如 GPT-3、ChatGPT 等）进行回答生成。模型根据 prompt 中的上下文和问题生成相应的回答。
  9. 输出回答：将模型生成的回答输出给用户，完成问答过程。

从文档处理角度来看，实现流程如下：

Langchain 应用领域：

1，文本总结(Summarization): 对文本/聊天内容的重点内容总结。

2，文档问答(Question and Answering Over Documents): 使用文档作为上下文信息，基于文档内容进行问答。

3，信息抽取(Extraction): 从文本内容中抽取结构化的内容。

4，结果评估(Evaluation): 分析并评估LLM输出的结果的好坏。

5，数据库问答(Querying Tabular Data): 从数据库/类数据库内容中抽取数据信息。

6，代码理解(Code Understanding): 分析代码，并从代码中获取逻辑，同时也支持QA。

7，API交互(Interacting with APIs): 通过对API文档的阅读，理解API文档并向真实世界调用API获取真实数据。

8，聊天机器人(Chatbots): 具备记忆能力的聊天机器人框架（有UI交互能力)。

9，智能体(Agents): 使用LLMs进行任务分析和决策，并调用工具执行决策。

三、代码结构

  • configs/ 配置文件路径
  • server/ api服务、大模型服务等服务程序等核心代码
  • webui_pages/ webui服务
  • startup.py 启动脚本

img

│ .gitignore
│ CONTRIBUTING.md
│ init_database.py 用于初始化知识库
│ LICENSE
│ README.md
│ release.py
│ requirements.txt
│ requirements_api.txt
│ requirements_webui.txt
│ shutdown_all.sh 一键停止脚本，kill掉启动的服务
│ startup.py 一键启动
│ webui.py ui界面启动
├─chains
│ llmchain_with_history.py
│
├─common
│ init.py
│
├─configs
│ model_config.py.example 模型配置文件，配置使用的LLM和Emebdding模型；
│ server_config.py.example
│ init.py
├─embeddings
│ init.py
├─knowledge_base
│ └─samples 知识库
│ ├─content
│ │ test.txt 知识库上传的文档
│ └─vector_store 向量化后的知识
│ index.faiss
│ index.pkl
│
├─nltk_data
├─server
│ │ api.py 用于启动API服务
│ │ api_allinone_stale.py
│ │ llm_api.py 用于启动LLM
│ │ llm_api_shutdown.py
│ │ llm_api_stale.py
│ │ utils.py
│ │ webui_allinone_stale.py
│ │
│ ├─chat
│ │ chat.py 用于与LLM模型对话
│ │ knowledge_base_chat.py 用于与知识库对话
│ │ openai_chat.py
│ │ search_engine_chat.py 用于搜索引擎对话
│ │ utils.py
│ │ init.py
│ │
│ ├─db 知识库的数据库
│ │ │ base.py
│ │ │ session.py
│ │ │ init.py
│ │ │
│ │ ├─models
│ │ │ base.py 数据库表的基础属性
│ │ │ knowledge_base_model.py 知识库模型的表字段
│ │ │ knowledge_file_model.py 知识库文件的表字段
│ │ │ init.py
│ │ │
│ │ └─repository
│ │ knowledge_base_repository.py
│ │ knowledge_file_repository.py
│ │ init.py
│ │
│ ├─knowledge_base
│ │ │ kb_api.py 知识库API，创建、删除知识库；
│ │ │ kb_doc_api.py 知识库文件API，搜索、删除、更新、上传文档，重建向量库；
│ │ │ migrate.py 初始化 or 迁移重建知识库；
│ │ │ utils.py 提供了加载Embedding、获取文件加载器、文件转text的函数，可设置文本分割器；
│ │ │ init.py
│ │ │
│ │ └─kb_service
│ │ base.py 向量库的抽象类
│ │ default_kb_service.py
│ │ faiss_kb_service.py faiss向量库子类
│ │ milvus_kb_service.py
│ │ pg_kb_service.py
│ │ init.py
│ │
│ └─static
│
├─tests
│ └─api
│ test_kb_api.py 测试知识库API
│ test_stream_chat_api.py 测试对话API
│
├─text_splitter 各种文本分割器
│ ali_text_splitter.py 达摩院的文档分割
│ chinese_text_splitter.py 中文文本分割
│ zh_title_enhance.py 中文标题增强：判断是否是标题，然后在下一段文字的开头加入提示语与标题建立关联。
│ init.py
│
└─webui_pages UI界面构建
│ utils.py 简化api调用
│ init.py
│
├─dialogue
│ dialogue.py 问答功能，LLM问答和知识库问答，还有搜索引擎问答；
│ init.py
│
├─knowledge_base
│ knowledge_base.py 知识库管理界面构建
│ init.py
│
└─model_config
model_config.py 模型配置页面，TODO。应该是可以在界面上手动选择采用哪个LLM和Embedding模型。
init.py

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.2.1 什么是Prompt
    • L2.2.2 Prompt框架应用现状
    • L2.2.3 基于GPTAS的Prompt框架
    • L2.2.4 Prompt框架与Thought
    • L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
    • L2.3.1 流水线工程的概念
    • L2.3.2 流水线工程的优点
    • L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
    • L3.1.1 Agent模型框架的设计理念
    • L3.1.2 Agent模型框架的核心组件
    • L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
    • L3.2.1 MetaGPT的基本概念
    • L3.2.2 MetaGPT的工作原理
    • L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
    • L3.3.1 ChatGLM的特点
    • L3.3.2 ChatGLM的开发环境
    • L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
    • L3.4.1 LLAMA的特点
    • L3.4.2 LLAMA的开发环境
    • L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

相关文章：

  • SaaS案例分享：成功构建销售渠道的实战经验
  • homework 2024.06.17 math, UI
  • 【Linux硬盘数据读取】WIN10访问linux分区解决方案：ext2fsd
  • 企业内部、与合作伙伴/客户文档协作如何高效安全地收集资料？
  • 安装docker+mysql的一些坑
  • LogicFlow 学习笔记——5. LogicFlow 基础 主题 Theme
  • 嵌入式技术学习——c51——串口
  • 【第15章】Vue实战篇之环境搭建
  • 详解 HBase 的常用 API
  • HTML5基础
  • STM32学习笔记（一）--时钟树详解
  • Git仓库中文件的状态
  • 高频谐振功放
  • [蓝桥杯真题]小计算器
  • 使用dockerfile能力构建制品并打包容器
  • ES6系列（二）变量的解构赋值
  • Java 网络编程（2）：UDP 的使用
  • JAVA 学习IO流
  • Python 反序列化安全问题（二）
  • python 装饰器（一）
  • Python3爬取英雄联盟英雄皮肤大图
  • Webpack 4 学习01（基础配置）
  • windows下如何用phpstorm同步测试服务器
  • 阿里云Kubernetes容器服务上体验Knative
  • 大型网站性能监测、分析与优化常见问题QA
  • 短视频宝贝=慢？阿里巴巴工程师这样秒开短视频
  • 对话 CTO〡听神策数据 CTO 曹犟描绘数据分析行业的无限可能
  • 猫头鹰的深夜翻译：Java 2D Graphics, 简单的仿射变换
  • 每个JavaScript开发人员应阅读的书【1】 - JavaScript: The Good Parts
  • 入职第二天：使用koa搭建node server是种怎样的体验
  • 腾讯大梁：DevOps最后一棒，有效构建海量运营的持续反馈能力
  • 小程序上传图片到七牛云（支持多张上传，预览，删除）
  • mysql 慢查询分析工具：pt-query-digest 在mac 上的安装使用 ...
  • 东超科技获得千万级Pre-A轮融资，投资方为中科创星 ...
  • ​如何在iOS手机上查看应用日志
  • (04)Hive的相关概念——order by 、sort by、distribute by 、cluster by
  • （2）空速传感器
  • （3）选择元素——（17）练习（Exercises）
  • (floyd+补集) poj 3275
  • （M)unity2D敌人的创建、人物属性设置，遇敌掉血
  • （含答案）C++笔试题你可以答对多少？
  • （六）什么是Vite——热更新时vite、webpack做了什么
  • (三)mysql_MYSQL(三)
  • （十）c52学习之旅-定时器实验
  • (转) Face-Resources
  • .Net 6.0 Windows平台如何判断当前电脑是否联网
  • .NET C# 使用GDAL读取FileGDB要素类
  • .net core 的缓存方案
  • .NET 实现 NTFS 文件系统的硬链接 mklink /J（Junction）
  • .Net+SQL Server企业应用性能优化笔记4——精确查找瓶颈
  • .net访问oracle数据库性能问题
  • .NET设计模式（2）：单件模式（Singleton Pattern）
  • /dev下添加设备节点的方法步骤（通过device_create）
  • @angular/cli项目构建--Dynamic.Form
  • @selector(..)警告提示