简介机器学习中的特征工程

2024-06-23 17:13:27

要解决一个机器学习问题，我们不能仅仅通过将算法应用到提供的数据上。比如.fit() 。我们首先需要构建一个数据集。

将原始数据转换为数据集的任务称为特征工程。

例如，预测客户是否坚持订阅特定产品。这将有助于进一步提高产品或用户体验，还有助于业务增长。

原始数据将包含每个客户的详细信息，如位置、年龄、兴趣、在产品上花费的平均时间、客户续订订阅的次数。这些细节是数据集的特性。创建数据集的任务是从原始数据中了解有用的特性，并从对结果有影响的现有特性中创建新特性，或者操作这些特性，使它们可以用于建模或增强结果。整个过程被简称为特性工程。

有多种方法可以实现特征工程。根据数据和应用程序不同来分类。

在本文中，我们将了解为什么使用特征工程和特征工程的各种方法。

为什么使用特征工程？

特征工程出现在机器学习工作流程的最初阶段。特性工程是决定结果成败的最关键和决定性的因素。

特征工程在机器学习工作流程中的地位

许多Kaggle比赛都是通过基于问题创建适当的功能而获胜的。例如，在一场汽车转售比赛中，获胜者的解决方案包含一个分类特征——普通汽车的颜色，稀有汽车的颜色。这一特性增加了汽车转售的预测效果。既然我们已经理解了特性工程的重要性，现在让我们深入研究用于实现的各种标准方法。

现在让我们了解如何实现特性工程。以下是广泛使用的基本特征工程技术，

· 编码

· 分箱

· 归一化

· 标准化

· 处理缺失值

· 数据归责技术

编码

有些算法只处理数值特征。但是，我们可能有其他数据，比如在我们的例子中'用户观看的内容类型'。为了转换这种数据，我们使用编码。

One-Hot编码

将分类数据转换为列，并将每个惟一的类别作为列值，这是一种One-Hot编码。

下面是实现One-Hot编码的代码片段，

encoded_columns = pd.get_dummies(data['column'])data = data.join(encoded_columns).drop('column', axis=1)

当分类特征具有不那么独特的类别时，这种方法被广泛使用。我们需要记住，当分类特征的独特类别增加时，维度也会增加。

标签编码

通过为每个类别分配一个唯一的整数值，将分类数据转换为数字，称为标签编码。

比如'喜剧'为0，'恐怖'为1，'浪漫'为2。但是，这样划分可能会使分类具有不必要的一般性。

当类别是有序的(特定的顺序)时，可以使用这种技术，比如3代表'优秀'，2代表'好'，1代表'坏'。在这种情况下，对类别进行排序是有用的。

下面是要实现标签编码器的代码片段。

from sklearn.preprocessing import ColumnTransformerlabelencoder = ColumnTransformer()x[:, 0] = labelencoder.fit_transform(x[:, 0])

分箱

另一种相反的情况，在实践中很少出现，当我们有一个数字特征，但我们需要把它转换成分类特征。分箱(也称为bucketing)是将一个连续的特性转换成多个二进制特性的过程，通常基于数值。

将数值数据分成4、8、16个箱子

#Numerical Binning ExampleValue Bin 0-30 -> Low 31-70 -> Mid 71-100 -> High#Categorical Binning ExampleValue Bin Germany-> Europe Italy -> Europe India -> AsiaJapan -> Asia

分箱的主要目的是为了使模型更健壮，防止过拟合，但这对性能有一定的影响。每次我们丢弃信息，我们就会牺牲一些信息。

正则化

归一化(也称为最小最大归一化)是一种缩放技术，当应用它时，特征将被重新标定，使数据落在[0,1]的范围内。

特征的归一化形式可通过如下方法计算:

归一化的数学公式。

这里' x '是原始值而' x '是归一化值。

原始数据、归一化数据的散点图

在原始数据中，alcohol在[11,15]，malic在[0,6]。归一化数据中，alcohol在[0,1]之间，malic在[0,1]之间。

标准化

标准化(也叫Z-score归一化)是一种缩放技术，当它被应用时，特征会被重新调整，使它们具有标准正态分布的特性，即均值为0，标准差为=1;其中，μ 为平均值(average)，σ为与平均值的标准差。

计算样本的标准分数(也称z分数)如下:

标准化的数学公式

这将特征在[-1,1]之间进行缩放

原始数据、标准化数据的散点图

在原始数据中，alcohol在[11,15]，malic在[0,6]。在标准化数据中，二者居中于0。

处理缺失值

数据集可能包含一些缺失的值。这可能是在输入数据的失误或出于保密方面的考虑。无论原因是什么，减少它对结果的影响是至关重要的。下面是处理缺失值的方法，

· 简单地删除那些缺少值的数据点(当数据很大而缺少值的数据点较少时，这样做更可取)

· 使用处理缺失值的算法(取决于实现该算法的库)

· 使用数据注入技术(取决于应用程序和数据)

数据归责技术

数据填充就是简单地用一个不会影响结果的值替换缺失的值。

对于数值特征，缺失的值可以替换为:

· 0或默认值

#Filling all missing values with 0data = data.fillna(0)

· 重复率最高的值

#Filling missing values with mode of the columnsdata = data.fillna(data.mode())

· 该特征的均值(受离群值影响，可以用特征的中值替换)

#Filling missing values with medians of the columnsdata = data.fillna(data.median())

对于分类特征，缺失的值可以替换为: