数据分析的数学概念
众数-数据集中趋势
众数（Mode）是指在一组数据中出现次数最多的数值，它是描述数据集中趋势的一种方法，众数并不一定代表数据的一般水平。众数可以是数据集中的一个值，也可以是多个值，这取决于数据集的分布情况。
算术平均数-数据集中趋势的统计量
算术平均数（Arithmetic Mean）是更常见的用来描述数据集中趋势的统计量，代表了数据集的平均值。算术平均数是所有数值加起来后除以数值的数量。是一组数据中所有数值加起来后除以数值的数量。它是数据集中趋势最常用的度量方法之一。容易受到极端值的影响
中位数-数据集中趋势的统计量
中位数（Median）是更常见的用来描述数据集中趋势的统计量，代表了数据集的中间值。中位数是将数据集按大小顺序排列后位于中间位置的数值。是将数据集按大小顺序排列后位于中间位置的数值。如果数据集的个数是奇数，中位数是中间的那个数；如果是偶数，则是中间两个数的平均值。不受极端值的影响，因此不容易受到少数非常大或非常小的值的影响。
分位数-数据集中趋势
分位数（Quartile）是将一个随机变量的概率分布范围分为三个等份的数值点，而不是两个等份。分位数通常用来描述数据的中间位置或特定百分比位置的值。以下是分位数的一些基本概念：
- 第一分位数（Q1）：也称为下四分位数，是将数据集分为两部分，位于较低部分的50%处的数值。
- 第二分位数（Q2）：也称为中位数，是将数据集分为两部分，位于中间位置的数值，即数据集的上半部分和下半部分各占50%。
- 第三分位数（Q3）：也称为上四分位数，是将数据集分为两部分，位于较高部分的50%处的数值。
分位数有助于描述数据的集中趋势和分布形状，因为它们不受极端值的影响。
极差-数据离散程度
全距，也称为极差，是指一组数据中的最大值和最小值之间的绝对差。它是描述数据离散程度的一个简单指标，全距越大，数据的波动性越强；全距越小，数据的波动性越弱。可能会受到极端值的影响。全距的计算公式如下：
全距 = 最大值 - 最小值
方差-数据离散程度
方差是指一组数据与其平均值之差的平方和的平均数。它是衡量数据分散程度的一种方式，方差越大，数据的波动性越强；方差越小，数据的波动性越弱。方差的计算公式如下：
方差 = Σ(观测值 - 平均值)² / 观测值数量
其中，Σ表示对所有观测值求和，观测值数量表示观测值的总数。
标准差-数据离散程度
标准差是方差的一个直接平方根，它衡量的是观测值与其平均值之间的差异，反映了数据的离散程度
标准差的计算公式如下：
标准差 = 方差的平方根
均方误差-衡量预测误差
均方误差（Mean Squared Error，MSE）是观测值与真实值偏差的平方和的平均数。它是衡量预测模型性能的一种统计量，通常用于回归分析中。均方误差越小，表示模型的预测精度越高。
均方误差的计算公式如下：
MSE = (Σ(观测值 - 真实值)²) / 观测值数量
其中，Σ表示对所有观测值求和，观测值数量表示观测值的总数。
均方误差是衡量预测误差的一个常用指标，但它并不考虑预测值与真实值之间的偏差方向，只是关注误差的平方。因此，即使预测值与真实值在数量上相同，如果它们的方向相反，均方误差也会很高。为了更全面地评估预测模型的性能，有时会使用均方根误差（Root Mean Squared Error，RMSE）或其他更复杂的指标。
频数分析-数据的分布特征
频数分析（Frequency Analysis）是一种统计方法，用于确定数据中每个值或值范围出现的次数。频数分析的第二个基本任务是编制频数分布表（Frequency Distribution Table），也称为频数表。而编制频数分布表是记录这些频数的方式。
频数分析的步骤通常包括：
- 确定数据的值或值范围。
- 计算每个值或值范围出现的次数。
- 编制频数分布表，列出每个值或值范围及其对应的频数。
频数分布表的目的是清晰地展示数据中各个数值的出现次数，它通常包括以下几个部分：
- 数值范围：通常分为几个区间或类别，每个区间或类别包含一组连续的数值。
- 频数：每个数值范围中包含的观察值数量。
- 累计频数：从第一个数值范围开始，将所有小于或等于当前数值范围的频数相加。
- 累计百分比：将累计频数除以总观察值数量，然后乘以100，以表示该数值范围及以下数值范围的数据占整个数据集的比例。
频数分布表是频数分析的一个重要输出，它可以帮助研究人员了解数据的分布特征，如数据的集中趋势、分散程度、偏斜程度等。通过频数分布表，研究人员可以更直观地理解数据，并为后续的统计分析提供基础。
多重拆分-模式和趋势
多重拆分是指将数据集根据多个条件进行分组或分类的过程，这可以帮助研究人员更好地理解数据中的模式和关系。
多重拆分的步骤通常包括：
-
选择拆分条件：确定需要用来拆分数据的多个条件。这些条件可以是变量值、日期范围、地区等。
-
应用拆分条件：使用这些条件对数据集进行分组或分类。这通常涉及使用SQL查询、数据透视表或类似的数据分析工具。
-
分析拆分后的数据：对每个拆分后的子集进行详细分析，以了解不同条件组合下的数据分布和特征。
多重拆分有助于揭示数据中的复杂关系，并支持更精细的数据分析。例如，研究人员可能需要根据性别、年龄和收入水平等多个条件来分析消费者的购买行为。通过多重拆分，他们可以更全面地理解这些因素如何相互作用，从而提出更有效的市场策略。
变量-控制和分析影响实验结果
在进行方差分析（ANOVA）或回归分析时，从源变量框中选择一个或多个变量进入因子列表是一个常见的操作。这个变量，称为分组变量或分类变量，用于将数据按照特定的观察值进行分组，以便于分析不同组之间的差异。通过将分组变量放入因子列表，研究者可以比较不同组之间的均值或回归系数，以确定是否存在显著的组间差异。这有助于揭示不同条件或处理对研究结果的影响。
增加变量-添加新的特征
增加变量（Adding Variables）通常指的是在现有数据集的基础上添加新的变量或特征。这个过程涉及将新的数据列添加到数据表中。
横向对接-数据组合
横向对接（Merging Files）是指将两个或多个数据文件中的数据横向组合在一起，以便于比较和分析。这个过程涉及将不同数据文件中的行对应起来，通常是通过一个或多个共同的变量来实现。
如果有两个不同的数据文件，每个文件包含不同的变量，您可以通过以下步骤将它们横向对接：
- 确定一个或多个共同的变量，这些变量在每个数据文件中都有对应的值。
- 使用这些共同的变量作为键（Key），将两个数据文件中的行对应起来。
- 合并数据文件，将它们横向组合成一个更大的数据集。
这个过程通常使用电子表格软件（如Excel）或统计分析软件（如R、Python、SPSS等）中的合并功能来完成。
因此，增加变量和横向对接是两个不同的概念，增加变量是在现有数据集上添加新的特征，而横向对接是将两个或多个数据文件中的数据组合在一起。
距离-个体差异程度
个体间的差异程度通常用距离来测量。距离可以是欧几里得距离（Euclidean distance），也可以是其他类型的距离，如曼哈顿距离（Manhattan distance）或切比雪夫距离（Chebyshev distance）。这些距离度量方法可以帮助我们量化个体之间的差异。
在二维空间中，两个点 (x1, y1) 和 (x2, y2) 之间的欧几里得距离 d 可以通过以下公式计算：
d = √((x2 - x1)² + (y2 - y1)²)
在这个公式中，d 表示两点之间的距离，(x1, y1) 和 (x2, y2) 是两个点的坐标。