# 过滤式特征选择法的原理
使用发散性或相关性指标对各个特征进行评分，选择分数大于阈值的特征或者选择前K个分数最大的特征。具体来说，计算每个特征的发散性，移除发散性小于阈值的特征/选择前k个分数最大的特征；计算每个特征与标签的相关性，移除相关性小于阈值的特征/选择前k个分数最大的特征。
# 过滤式特征选择法的特点
特征选择过程与学习器无关，相当于先对初始特征进行过滤，再用过滤后的特征训练学习器。过滤式特征选择法简单、易于运行、易于理解，通常对于理解数据有较好的效果，但对特征优化、提高模型泛化能力来说效果一般。
# 常用的过滤式特征选择法
- 方差选择法（发散性）
使用方差作为特征评分标准，如果某个特征的取值差异不大，通常认为该特征对区分样本的贡献度不大，因此在构造特征过程中去掉方差小于阈值的特征。注意：方差选择法适用于离散型特征，连续型特征需要须离散化后使用；方差较小的特征很少，方差选择法简单但不好用，一般作为特征选择的预处理步骤，先去掉方差较小的特征，然后使用其他特征选择方法选择特征。
# -*- coding: utf-8 -*- # 载入数据 from sklearn.datasets import load_iris iris = load_iris() print("iris特征名称\n",iris.feature_names) print("iris特征矩阵\n",iris.data) # 特征选择--方差选择法 from sklearn.feature_selection import VarianceThreshold vt = VarianceThreshold(threshold = 1) # threshold为方差的阈值，默认0 vt = vt.fit_transform(iris.data) # 函数返回值为特征选择后的特征 print("方差选择法选择的特征\n",vt)
- 卡方检验法（相关性）（分类问题）
使用统计量卡方检验作为特征评分标准，卡方检验值越大，相关性越强（卡方检验是评价定性自变量对定性因变量相关性的统计量）
# -*- coding: utf-8 -*- # 载入数据 from sklearn.datasets import load_iris iris = load_iris() # 特征选择 from sklearn.feature_selection import SelectKBest # 移除topK外的特征 from sklearn.feature_selection import chi2 # 卡方检验 skb = SelectKBest(chi2,k=2) new_data = skb.fit_transform(iris.data,iris.target)
- 皮尔森相关系数法法（相关性）（回归问题）
使用pearson系数作为特征评分标准，相关系数绝对值越大，相关性越强（相关系数越接近于1或-1时，相关性越强；相关系数越接近于0时，相关性越弱）。特点：皮尔森相关系数法能够衡量线性相关的特征集。
# -*- coding: utf-8 -*- # 载入数据 from sklearn.datasets import load_iris irisdata = load_iris() # 特征选择（pearson相关系数法） from sklearn.feature_selection import SelectKBest # 移除topK外的特征 from scipy.stats import pearsonr # 计算皮尔森相关系数 from numpy import array """ # 函数返回值：保留topk特征，移除topk外特征 # 第一个参数：皮尔森相关系数（输入特征矩阵和目标向量，输出二元组（评分，P），二数组第i项为第i个特征的评分和p值 # 第二个参数：topK个数 """ skb = SelectKBest(lambda X, Y: tuple(map(tuple,array(list(map(lambda x:pearsonr(x, Y), X.T))).T)), k=3) skb = skb.fit_transform(irisdata.data, irisdata.target)
- 互信息系数法（相关性）
特点：互信息系数法能够衡量各种相关性的特征集，计算相对复杂。