大数据-基础架构设施演进的过程
一、第一阶段-Hadoop
以Hadoop为代表的离线数据处理基础设施
1.1、围绕HDFS和MR，产生了一系列的组件
- 面向在线KV操作的HBase
- 面向SQL的Hive
- 面向工作流的PIG
1.2、随着对批处理性能要求越来越高，产生了Tez、Spark、Flink等计算引擎。RM模型也逐步进化成DAG模型。
DAG模型
1、增加计算模型的抽象和并发能力
根据聚合操作把任务分为多个stage，每个stage由一个或者多个task组成，task可以并行执行，从而提供计算的并行能力
2、减少计算过程中的中间结果IO操作
为了减少处理过程中的中间结果写文件操作，spark、presto等计算引擎尽量使用计算节点的内存对数据进行缓存，从而提高整个计算过程中的数据效率和吞吐能力
二、第二阶段-lambda架构
批处理计算能力提升有限了还是无法满足需求，需要结合离线和实时才能解决问题。催生了，SparkStreaming、Flink的出现。最终“流批一体”出现了。
三、第三阶段-kapa架构
流批一体解决了问题，但是架构太复杂了，能不能用一套系统来跑就行了。流失处理天生的并发行和分布式特点，注定有更好的拓展性。通过流式计算提高并发行，加大流式计算的窗口。来统一批流程和流处理两种计算模式