『大模型笔记』基于LLM生成真实世界数据的合成问答数据！
| 基于LLM生成真实世界数据的合成问答数据！ |
文章目录
- 一. 基于LLM生成真实世界数据的合成问答数据！
- 1. 概述(Overview)
- 2. 场景(Scenario)
- 2.1. 概述
- 2.1.1. 第1阶段：构建种子数据集（Stage 1. Constructing a seed dataset）
- 2.1.2. 第2阶段：数据增强（可选）（Data Augmentation (Optional)）
- 2.2. 客户应用示例（Customer application examples）
- 二. 第1阶段：构建种子数据集
- 2.1. PDF
- 2.2. CSV
- 三. 第二阶段. 数据扩充（可选）
- 3.1. [Evolve-Instruct（进化指令）](evolve-instruct/README.md)
- 3.2. [GLAN (广义指令调优)](glan-instruct/README.md)
- 四. 参考文献
本动手实验旨在通过演示如何从复杂的非结构化数据中创建或增强问答数据集，以缓解一些难题，基于真实场景假设。该示例旨在为开发人员和数据科学家以及相关领域的从业者提供分步指南，以便他们在一些指导下进行尝试。
一. 基于LLM生成真实世界数据的合成问答数据！
1. 概述(Overview)
对于大语言模型（LLM）或小型语言模型（SLM）的微调、RAG或评估，通常需要从真实世界的原始数据中生成问答格式的数据。然而，当需要从头创建数据集而非使用现成的数据集时，您将面临诸多挑战。
本次动手实验旨在通过展示 如何从复杂的非结构化数据中创建或增强问答数据集来减轻部分工作负担，并假设这是一个真实的场景。该示例旨在为开发者和数据科学家以及相关领域的从业者提供逐步指导，使他们在稍许帮助下也能尝试完成。
2. 场景(Scenario)
2.1. 概述
我们旨在通过微调或RAG来提高模型的性能，提供高质量的数据集。然而，没有预先存在的数据集；我们只有 PDF、CSV和TXT 等格式的未处理原始数据。这些原始数据包括