LLM基础概念：Prompt
在 AI 语言模型中，"prompt"是一个指示性文本或问题，用于引导模型生成相应的回答或响应。Prompt 可以是一个简短的问题、一段描述性的文本或具体的指令，用于指导模型完成特定的任务或产生特定类型的回答。
在prompt中，“role”是指与对话参与者相关的角色，通常包括：用户、系统和助手。每个角色在对话中扮演不同的角色和功能。这些角色的区别如下：
- 用户（user）：用户是对话的发起者，提供问题、指令或信息，以期望从模型中获取相应的回答或相应。
- 系统（system）：系统是对话中模型扮演的角色，他代表具有特定任务或目标的服务或应用程序。系统的主要责任是根据用户的请求或指令生成合适的回答或响应。
- 助手（assistant）：助手是一个中立的角色，他可以提供帮助、解释或补充信息，以促进对话的进行和理解。
这些角色的目的是为了模拟真实对话中的参与者，并帮助模型正确理解和生成符合对话场景的回答或响应。
为什么需要prompt
- 引导模型：prompt提供了一种方式来引导模型生成特定类型的回答或响应。通过在prompt中提供明确的指令或问题，可以更好的控制模型的输出，使其更符合预期。
- 上下文建模：通过在prompt中设置适当的上下文信息，模型可以更好的理解对话的背景和先前的交互，从而生成更连贯和一致的回答或响应。
- 任务定制：对特定的任务或应用场景，prompt可以提供特定的指导和要求，使模型能够针对特定任务生成相关的回答或响应。
- 避免误导：通过合理设计prompt，可以减少模型收到误导或生成不合适的回答的可能性。良好设计的prompt可以帮助模型更准确的理解用户意图并生成合理的回答。
总的来说，prompt在对话系统重起到引导和指导模型生成合适回答或响应的作用，并帮助建立对话的上下文和参与角色，以更好的模拟真实对话场景。
什么是prompt injection
prompt injection通常是通过在对话的起始或每个对话轮次插入特定的文本来实现的。这些文本可以是问题、指令、上下文信息或任务相关的提示，以引导模型生成与特定任务或目标相符合的回答。
通过prompt injection，可以引导模型产生特定领域的回答，提供特定的信息或执行特定的操作。例如，在问答任务中，可以在prompt中提供问题和相关上下文，以引导模型生成相关的答案。在任务导向的对话中，可以在每个对话轮次重注入指令或任务目标，以引导模型按照特定的任务要求进行回答。
prompt injection的好处是可以更好地控制对话模型的输出，使其更符合特定任务的要求。他可以提供更精确的引导和指导，避免模型生成不相关或不准确的问答。同时，prompt injection也可以帮助模型更好的理解对话的上下文和用户意图，从而生成更连贯和一致的回答。
prompt injection也可以是一种类似sql注入的风险。让模型回答本不该回答的问题，从而绕过安全协议提取敏感信息。