Spark数据介绍
从趋势上看，DataFrame 和 Dataset 更加流行。
示例场景
-
数据仓库和 BI 工具集成：
- 如果你需要处理存储在数据仓库中的结构化数据，并且希望与 BI 工具集成，那么 DataFrame 和 Dataset 是首选。
-
机器学习流水线：
- 在构建机器学习流水线时，使用 DataFrame 和 Dataset 可以更好地管理数据流，并且可以方便地与 MLlib 集成。
-
实时数据处理：
- 尽管 Spark Structured Streaming 主要使用 DataFrame 和 Dataset，但在某些特定的实时数据处理场景中，仍然可能会用到 RDD。
在 Apache Spark 中，RDD (弹性分布式数据集)、DataFrame 和 Dataset 是三种不同的数据抽象，它们各有特点和适用场景。下面分别介绍这三种数据结构的区别：
1. RDD (Resilient Distributed Dataset)
特点：
- 不可变性：一旦创建后，RDD 是不可变的。这意味着你不能修改一个已存在的 RDD 的内容。
- 容错性：RDD 通过记录数据转换的历史（血缘关系 Lineage）来自动恢复丢失的数据分区。
- 懒加载：RDD 上的操作分为转换（Transformation）和动作（Action）。转换操作定义了如何处理数据，但并不会立即执行；动作操作则会触发整个计算过程。
- 弱类型：RDD 只提供有限的编译时类型检查，大部分类型检查是在运行时进行的。
- API：RDD 提供了丰富的低级 API，适合复杂的自定义逻辑。
用途：
- RDD 适用于需要复杂控制流或需要细粒度控制数据处理逻辑的场景。
- RDD 也适用于需要容错性的批处理作业。
2. DataFrame
特点：
- 表格结构：DataFrame 是一个分布式的行集合，每一行都有固定的模式（Schema）。
- 强类型：DataFrame 提供了强类型的 API，支持 SQL 查询，并且具有编译时类型检查。
- 优化执行：DataFrame 操作可以被 Catalyst 优化器优化，以提高执行效率。
- API：DataFrame 提供了类似于 SQL 的 API，易于使用，适合结构化数据处理。
用途：
- DataFrame 适用于处理结构化数据，特别是那些可以通过 SQL 类似查询语言来表达的数据处理任务。
- DataFrame 也适用于需要快速开发周期的应用，因为它提供了更多的内置功能和支持。
3. Dataset
特点：
- 结合了 RDD 和 DataFrame 的优点：Dataset 是一个强类型的分布式数据集，既有 DataFrame 的结构化特性，也有类似 RDD 的 API。
- 强类型：Dataset 支持编译时类型检查，提高了代码的安全性和可维护性。
- 优化执行：Dataset 操作也可以被 Catalyst 优化器优化。
- API：Dataset 提供了既像 RDD 又像 DataFrame 的 API，可以使用 SQL 语法，也可以使用函数式编程风格。
用途：
- Dataset 适用于需要结构化数据处理，同时也需要一定程度的自定义逻辑的情况。
- Dataset 也适用于需要高性能和类型安全的应用。
总结
- RDD：适合需要高度定制化的数据处理逻辑，对容错性要求高的批处理任务。
- DataFrame：适合处理结构化数据，需要快速开发周期，易于使用 SQL 查询的场景。
- Dataset：结合了 RDD 和 DataFrame 的优点，提供了类型安全和优化执行的能力，适合需要结构化数据处理同时需要一定程度自定义逻辑的情况。