基于langchain的prompt指令代码编写
当然可以。LangChain 是一个用于构建语言模型应用的框架，它支持多种语言模型，并提供了一系列工具和链式结构来构建复杂的语言模型应用。在这个示例中，我们将使用 LangChain 和 Hugging Face 的 Transformers 库来创建一个简单的应用，其中模型可以调用外部函数来执行特定任务。
示例：使用 LangChain 和 Transformers 创建一个可以调用外部函数的聊天机器人
1. 安装必要的库：
• LangChain (pip install langchain)
• Hugging Face Transformers (pip install transformers)
• Hugging Face Accelerate (pip install accelerate)
• Faiss (pip install faiss-cpu) 用于向量存储和检索
2. 编写代码：
• 我们将创建一个简单的聊天机器人，当用户询问有关天气的问题时，机器人将调用一个外部函数来获取天气信息。
import os
import json
from typing import List, Dict
from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
from langchain import PromptTemplate, LLMChain
from langchain.chains import LLMChain
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
from langchain.prompts import (
ChatPromptTemplate,
SystemMessagePromptTemplate,
HumanMessagePromptTemplate,
)
# 加载模型
tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
# 创建一个管道
pipeline = pipeline(
"text-generation",
model=model,
tokenizer=tokenizer,
max_length=200,
temperature=0.7,
top_p=0.95,
top_k=50,
repetition_penalty=1.05,
)
# 外部函数定义
def get_weather(city: str) -> str:
# 这里只是一个示例，实际应用中应该调用真实的天气API
return f"The weather in {city} is sunny today."
# LangChain 配置
callback_manager = CallbackManager([StreamingStdOutCallbackHandler()])
llm_chain = LLMChain(
llm=pipeline,
prompt=ChatPromptTemplate.from_messages([
SystemMessagePromptTemplate.from_template(
"You are a helpful assistant that can call external functions. If the user asks about the weather, call the get_weather function."
),
HumanMessagePromptTemplate.from_template("{input}")
]),
callback_manager=callback_manager,
)
# 主函数
def main():
while True:
query = input("Enter your query: ")
if query.lower() == "exit":
break
# 检查是否询问天气
if "weather" in query.lower():
# 调用外部函数
city = query.split(" ")[-1] # 假设城市名是查询的最后一部分
weather_info = get_weather(city)
print(f"Weather Info: {weather_info}")
else:
# 生成回复
response = llm_chain.run(query)
print(f"Response: {response}")
if __name__ == "__main__":
main()
说明：
1. 加载模型：我们使用 gpt2 作为示例模型。你可以根据需要替换为其他的预训练模型。
2. 外部函数：get_weather 函数用于获取指定城市的天气信息。这里我们只是简单地返回了一个固定的字符串，实际应用中应该调用真实的天气API。
3. LangChain 配置：我们创建了一个 LLMChain，它使用了预定义的提示模板。提示模板告诉模型如果用户询问天气，则调用 get_weather 函数。
4. 主函数：在主函数中，我们不断接收用户的输入，并根据输入决定是调用外部函数还是让模型生成回复。
注意事项：
• 这个示例假设用户总是按照特定格式输入查询（例如：“weather New York”）。实际应用中，你可能需要更复杂的逻辑来解析用户输入。
• 为了使模型真正能够调用外部函数，你需要使用支持函数调用的模型，如 Hugging Face 的某些版本的 GPT-3 或 GPT-4。
希望这个示例对你有所帮助！如果有任何疑问或需要进一步的帮助，请随时提问。