八、特征选择

作者：Chris Albon

译者：飞龙

协议：CC BY-NC-SA 4.0

用于特征选取的 ANOVA F 值

如果特征是类别的，计算每个特征与目标向量之间的卡方（八、特征选择 - 图1）统计量。 但是，如果特征是定量的，则计算每个特征与目标向量之间的 ANOVA F 值。

F 值得分检查当我们按照目标向量对数字特征进行分组时，每个组的均值是否显着不同。

  1. # 加载库
  2. from sklearn.datasets import load_iris
  3. from sklearn.feature_selection import SelectKBest
  4. from sklearn.feature_selection import f_classif
  6. # 加载鸢尾花数据
  7. iris = load_iris()
  9. # 创建特征和标签
  10. X = iris.data
  11. y = iris.target
  13. # 创建 SelectKBest 对象来选择两个带有最佳 ANOVA F 值的特征
  14. fvalue_selector = SelectKBest(f_classif, k=2)
  16. # 对 SelectKBest 对象应用特征和标签
  17. X_kbest = fvalue_selector.fit_transform(X, y)
  19. # 展示结果
  20. print('Original number of features:', X.shape[1])
  21. print('Reduced number of features:', X_kbest.shape[1])
  23. '''
  24. Original number of features: 4
  25. Reduced number of features: 2 
  26. '''

用于特征选择的卡方

八、特征选择 - 图2

  1. # 加载库
  2. from sklearn.datasets import load_iris
  3. from sklearn.feature_selection import SelectKBest
  4. from sklearn.feature_selection import chi2
  6. # 加载鸢尾花数据
  7. iris = load_iris()
  9. # 创建特征和目标
  10. X = iris.data
  11. y = iris.target
  13. # 通过将数据转换为整数，转换为类别数据
  14. X = X.astype(int)
  16. # 选择两个卡方统计量最高的特征
  17. chi2_selector = SelectKBest(chi2, k=2)
  18. X_kbest = chi2_selector.fit_transform(X, y)
  20. # 展示结果
  21. print('Original number of features:', X.shape[1])
  22. print('Reduced number of features:', X_kbest.shape[1])
  24. '''
  25. Original number of features: 4
  26. Reduced number of features: 2 
  27. '''

丢弃高度相关的特征

  1. # 加载库
  2. import pandas as pd
  3. import numpy as np
  5. # 创建特征矩阵，具有两个高度相关特征
  6. X = np.array([[1, 1, 1],
  7.               [2, 2, 0],
  8.               [3, 3, 1],
  9.               [4, 4, 0],
  10.               [5, 5, 1],
  11.               [6, 6, 0],
  12.               [7, 7, 1],
  13.               [8, 7, 0],
  14.               [9, 7, 1]])
  16. # 将特征矩阵转换为 DataFrame
  17. df = pd.DataFrame(X)
  19. # 查看数据帧
  20. df
012
0111
1220
2331
3440
4551
5660
6771
7870
8971
  1. # 创建相关度矩阵
  2. corr_matrix = df.corr().abs()
  4. # 选择相关度矩阵的上三角
  5. upper = corr_matrix.where(np.triu(np.ones(corr_matrix.shape), k=1).astype(np.bool))
  7. # 寻找相关度大于 0.95 的特征列的索引
  8. to_drop = [column for column in upper.columns if any(upper[column] > 0.95)]
  10. # 丢弃特征
  11. df.drop(df.columns[to_drop], axis=1)
02
011
120
231
340
451
560
671
780
891

递归特征消除

  1. # 加载库
  2. from sklearn.datasets import make_regression
  3. from sklearn.feature_selection import RFECV
  4. from sklearn import datasets, linear_model
  5. import warnings
  7. # 消除烦人但无害的警告
  8. warnings.filterwarnings(action="ignore", module="scipy", message="^internal gelsd")
  10. # 生成特征矩阵，目标向量和真实相关度
  11. X, y = make_regression(n_samples = 10000,
  12.                        n_features = 100,
  13.                        n_informative = 2,
  14.                        random_state = 1)
  16. # 创建线性回归
  17. ols = linear_model.LinearRegression()
  19. # 创建递归特征消除器，按照 MSE 对特征评分
  20. rfecv = RFECV(estimator=ols, step=1, scoring='neg_mean_squared_error')
  22. # 拟合递归特征消除器
  23. rfecv.fit(X, y)
  25. # 递归特征消除
  26. rfecv.transform(X)
  28. '''
  29. array([[ 0.00850799,  0.7031277 , -1.2416911 , -0.25651883, -0.10738769],
  30.        [-1.07500204,  2.56148527,  0.5540926 , -0.72602474, -0.91773159],
  31.        [ 1.37940721, -1.77039484, -0.59609275,  0.51485979, -1.17442094],
  32.        ..., 
  33.        [-0.80331656, -1.60648007,  0.37195763,  0.78006511, -0.20756972],
  34.        [ 0.39508844, -1.34564911, -0.9639982 ,  1.7983361 , -0.61308782],
  35.        [-0.55383035,  0.82880112,  0.24597833, -1.71411248,  0.3816852 ]]) 
  36. '''
  38. # 最佳特征数量
  39. rfecv.n_features_
  41. # 5

方差阈值二元特征

  1. from sklearn.feature_selection import VarianceThreshold
  3. # 创建特征矩阵：
  4. # 特征 0：80% 的类 0
  5. # 特征 1：80% 的类 1
  6. # 特征 2：60% 的类 0，40% 的类 1
  7. X = [[0, 1, 0],
  8.      [0, 1, 1],
  9.      [0, 1, 0],
  10.      [0, 1, 1],
  11.      [1, 0, 0]]

在二元特征（即伯努利随机变量）中，方差计算如下：

](/uploads/projects/ds-ai-tech-notes/tex-46277250c0e8d4fadf188d0d22fa1343.gif)

其中 八、特征选择 - 图4 是类 1 观测的比例。 因此，通过设置 八、特征选择 - 图5，我们可以删除绝大多数观察是类 1 的特征。

  1. # Run threshold by variance
  2. thresholder = VarianceThreshold(threshold=(.75 * (1 - .75)))
  3. thresholder.fit_transform(X)
  5. '''
  6. array([[0],
  7.        [1],
  8.        [0],
  9.        [1],
  10.        [0]]) 
  11. '''

用于特征选择的方差阈值

八、特征选择 - 图6

  1. from sklearn import datasets
  2. from sklearn.feature_selection import VarianceThreshold
  4. # 加载鸢尾花数据
  5. iris = datasets.load_iris()
  7. # 创建特征和目标
  8. X = iris.data
  9. y = iris.target
  11. # 使用方差阈值 0.5 创建 VarianceThreshold 对象
  12. thresholder = VarianceThreshold(threshold=.5)
  14. # 应用方差阈值
  15. X_high_variance = thresholder.fit_transform(X)
  17. # 查看方差大于阈值的前五行
  18. X_high_variance[0:5]
  20. '''
  21. array([[ 5.1,  1.4,  0.2],
  22.        [ 4.9,  1.4,  0.2],
  23.        [ 4.7,  1.3,  0.2],
  24.        [ 4.6,  1.5,  0.2],
  25.        [ 5\. ,  1.4,  0.2]]) 
  26. '''