大数据如何进行测试
如何进行大数据测试
- 什么是大数据测试
- 一、数据测试
- 1.1、功能测试
- 1.1.1数据的完整性
- 1.1.2数据的一致性
- 1.1.3数据的准确性
- 二、大数据系统测试和大数据应用产品测试
- 2.1、计算逻辑验证
- 2.2、数据有效性和数据易用性验证
- 2.3、UI验证和交互验证
什么是大数据测试
大数据测试通常是指对采用大数据技术的系统或者应用的测试。大数据测试可以分成两个维度，一个维度是数据测试，另一个维度是大数据系统测试和大数据应用产品测试。
大数据测试和传统数据测试的不同
| 对比项 | 大数据测试 | 传统数据测试 |
|---|---|---|
| 数据量级 | 需要处理的数据量级较高 | 设计的数据量级较低 |
| 数据结构 | 处理的数据包括结构化数据、非结构化数据、和半结构化数据 | 以结构化数据为主 |
| 验证工作 | 验证环节多，数据量大，较复杂 | 抽取数据来验证，相对简单 |
| 环境要求 | 依赖HDFS、YARN和Zookeeper等集群环境 | 依赖传统数据库 |
| 测试工具 | 依赖Hadoop生态系统组建和ETL 测试工具 | 依赖传统数据库和部分测试工具 |
| 测试人员 | 技能门槛高，需要测试人员掌握大数据相关技能 | 技术门槛相对较低 |
与其他类型的测试一样，大数据测试也需要遵循既定的策略和方法。
一、数据测试
测试类型划分：功能测试、性能测试、和其他非功能性测试
1.1、功能测试
功能测试常用的测试方法有数据完整性、数据一致性、和数据准确性测试。
1.1.1数据的完整性
数据完整性是指数据记录和信息完整，不存在缺失情况。数据缺失主要包括记录缺失和记录中某个字段信息缺失，两者都会导致统计结果不准确。需要关注两点，数据不多，和 数据不少。
数据不多
一般检查全表数据，重要枚举值数据是否重复，以及主键是否唯一
数据不少
一般检查全表数据或业务相关的重要字段（如日期、品牌、类目和枚举值等）是否缺失。
如果我们知悉数据量，如表中的品牌字段有X条数据，则检查品牌字段的是否有X条数据即可。
如果数据规模本身变动很大，可以通过对比历史数据条数来评估数据波动是否正常。
1.1.2数据的一致性
数据一致性主要包括数据记录规范一致、数据逻辑一致和多节点数据一致。
数据记录规范一致：数据编码和数据格式，如订单ID，从业务来源表到数据仓库每一层中的表都应该是同一种数据类型，且长度需要保持一致。
数据逻辑一致：多数据间的逻辑处理一致。
可以通过数据的diff测试来验证数据的一致性。
1.1.3数据的准确性
数据准确性测试主要包括数值检查、时间维度对比，空间维度对比
数值检查通常需要验证数据值是否在常规范围内，比如人数比例，理论上位于[0,1]，是否在业务范围内，这依赖于对数据业务规则的理解。
时间维度对比，即对比同一组数据在不同时间的波动情况。
空间维度对比，即固定时间维度，将当前数据与其他数据进行对比，进一步保证准确性。
上下游数据对比。检查重要字段数据在上下游的加工过程中是否丢失。
与系统内的其他数据对比。
与系统外的其他数据对比。
二、大数据系统测试和大数据应用产品测试
BI报表如何测试，测试点如下：
2.1、计算逻辑验证
1、罗列式：这个是非常简单的报表，就是将源数据根据规则进行罗列，不涉及任何计算。罗列式报表的测试重点是检查罗列项是否与需求一致（不缺项，不多项），罗列项的顺序是否正确，以及是否通过罗列方式正确获得预期数据。
2、统计式：单个源数据经过简单的加减乘除、求和、求平均值等计算方法得到的报表。使用抽查验证方法。还考虑到数据的多样性和偶然性等问题，需要进行多种情况组合抽样验证。
3、算法式：是由一个或者多个数据源，根据一定的公式计算汇总得到的报表。此类报表涉及多数据源、多表、和多业务流程，是报表测试的难点。
在测试的时候，需要重点关注数据来源，业务含义，和计算逻辑等。可以采用抽样统计法、直观观察法、和对照法。
对照法：是验证相同数据在不同报表中等效维度是否一致。
2.2、数据有效性和数据易用性验证
数据有效性：由于源数据会受到数据采集、转换和处理等因素影响，因此可能存在异常数据，这将导致报表出现无效的统计结果。
数据的易用性：是指报表数据能否被用户直观理解。例如数据精度统一，时间格式统一，数据换算单位准确。四舍五入保留统一2位等。
2.3、UI验证和交互验证
1、UI验证
对界面功能、交互设计的验证。验证报表页面布局样式、表格格式、字体格式、颜色搭配、报表标题和文案。
2、交互验证
主要包括：翻页、过滤器、提示、参数、上钻/下钻、多表联动、排序和导出等功能的验证。
3、更新验证
在源数据出现更新后，验证报表数据是否更新正确
4、及时验证
主要是针对实时报表生成的及时性验证，验证在及时性方面是否满足业务需求
5、安全测试
检查报表系统的用户权限，数据安全设置是和合理
6、性能测试
数据响应时间、报表生成耗时等性能指标进行测试，验证是否符合预期。