当前位置：首页 > news >正文

LangChain —— Prompt Templates —— How to use few shot examples in chat models

news 来源：原创 2024/9/20 19:34:30

文章目录

一、概述
二、固定示例 Fixed Example

一、概述

本指南介绍了如何使用示例输入和输出提示 chat model。为模型提供几个这样的例子被称为 few-shotting，这是一种简单而强大的方法来指导生成，在某些情况下可以大大提高模型性能。

对于如何最好地进行 few-shot 提示，似乎没有达成一致意见，最佳提示编译可能会因模型而异。因此，langchain 提供 few-shot 提示模板，如 FewShotChatMessagePromptTemplate，作为一个灵活的起点，我们可以根据需要修改或替换它们。

few-shot 提示模板的目标是根据输入动态选择示例，然后在最终提示中格式化示例以提供模型。

注意，以下代码示例仅适用于 chat model，因为 FewShotChatMessagePromptTemplates 旨在输出格式化的 chat message，而不是纯字符串。

二、固定示例 Fixed Example

最基本 (也是最常见) 的 few-shot 提示技术是使用 固定提示示例。通过这种方式，您可以选择一条链，对其进行评估，并避免在生产中担心额外的 moving parts。
模板的基本组件包括：

examples：要包含在最终提示中的词典示例列表。
example_prompt：通过其 format_messages 方法将每个示例转换为 1条或多条消息。一个常见的例子是将每个示例转换为一条 human message 和一条 AI message 响应，或者一条 human message 后跟一条 function call message。

下面是一个简单的演示。首先，定义要包含的示例。让我们给 LLM 一个不熟悉的数学运算符，用“🦜”表情符号。如果我们尝试问模型，该运算的结果是什么，这将会失败：

from langchain_openai import ChatOpenAImodel = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0.0)model.invoke("What is 2 🦜 9?")
"""
AIMessage(content='The expression "2 🦜 9" is not a standard mathematical operation or equation. It appears to be a combination of the number 2 and the parrot emoji 🦜 followed by the number 9. It does not have a specific mathematical meaning.', response_metadata={'token_usage': {'completion_tokens': 54, 'prompt_tokens': 17, 'total_tokens': 71}, 'model_name': 'gpt-3.5-turbo-0125', 'system_fingerprint': None, 'finish_reason': 'stop', 'logprobs': None}, id='run-aad12dda-5c47-4a1e-9949-6fe94e03242a-0', usage_metadata={'input_tokens': 17, 'output_tokens': 54, 'total_tokens': 71})
"""

现在让我们看看如果我们给LLM一些例子来使用会发生什么。我们将在下面定义一些：

from langchain_core.prompts import ChatPromptTemplate, FewShotChatMessagePromptTemplateexamples = [{"input": "2 🦜 2", "output": "4"},{"input": "2 🦜 3", "output": "5"},
]

接下来，将它们组装到 few-shot 提示模板中。

# This is a prompt template used to format each individual example.
example_prompt = ChatPromptTemplate.from_messages([("human", "{input}"),("ai", "{output}"),]
)
few_shot_prompt = FewShotChatMessagePromptTemplate(example_prompt=example_prompt,examples=examples,
)print(few_shot_prompt.invoke({}).to_messages())
"""
[HumanMessage(content='2 🦜 2'), AIMessage(content='4'), HumanMessage(content='2 🦜 3'), AIMessage(content='5')]
"""

最后，我们组装如下所示的最终提示，将 few_shot_prompt 直接传递给 from_messages 工厂方法，并将其与模型一起使用：

final_prompt = ChatPromptTemplate.from_messages([("system", "You are a wondrous wizard of math."),few_shot_prompt,("human", "{input}"),]
)

现在让我们问模型最初的问题，看看它是如何做到的：

from langchain_openai import ChatOpenAIchain = final_prompt | modelchain.invoke({"input": "What is 2 🦜 9?"})
"""
AIMessage(content='11', response_metadata={'token_usage': {'completion_tokens': 1, 'prompt_tokens': 60, 'total_tokens': 61}, 'model_name': 'gpt-3.5-turbo-0125', 'system_fingerprint': None, 'finish_reason': 'stop', 'logprobs': None}, id='run-5ec4e051-262f-408e-ad00-3f2ebeb561c3-0', usage_metadata={'input_tokens': 60, 'output_tokens': 1, 'total_tokens': 61})
"""