一文彻底搞懂机器学习 - 特征工程（Feature Engineering） 原创 精华

图片

在机器学习中，特征工程占据核心地位，它涉及从原始数据中提取、选择并转换特征，旨在优化模型性能，使模型能够更精准地理解和预测数据。

特征工程关键技术包括特征提取（挖掘数据模式）、特征选择（筛选关键特征）和特征转换（数学变换优化特征）。

一、特征工程

特征工程（Feature Engineering）是什么？特征工程是机器学习中至关重要的一环，它涉及对原始数据的预处理、特征选择、特征提取和特征转换等过程，以提取出更有价值的特征，从而改进机器学习模型的性能。

特征工程是利用领域知识从原始数据中提取特征（特性、属性）的过程。

特征工程的工作流程是什么？特征工程涵盖从数据获取与理解到错误分析与模型改进的全方位流程，包括数据预处理、特征构建与提取、选择、转换、监控与评价等多个关键环节，旨在优化特征以提高机器学习模型性能。

1. 数据获取与理解：获取数据，了解数据结构和背景。
2. 数据预处理：清洗数据（处理缺失值、异常值、重复值），无量纲化处理。
3. 特征构建与提取：结合业务理解，构建和提取特征。
4. 特征选择：挑选关键特征子集，使用过滤法、包裹法或嵌入法。
5. 特征转换：应用数学变换改善特征性能，如多项式特征、离散化等。
6. 特征监控与评价：监控特征质量和权重，调整和优化特征。
7. 错误分析与模型改进：分析预测错误，改进模型。

特征工程的关键技术有哪些？特征工程关键技术涵盖特征提取（挖掘数据关键特性）、特征选择（筛选预测关键特征子集）以及特征转换（数学变换优化特征性能），旨在提升机器学习模型的预测能力和泛化能力。

1. 特征提取：挖掘数据关键特性，如图像像素、颜色直方图，文本词频等。
2. 特征选择：筛选预测关键特征，减少噪声冗余，提高模型泛化。常用方法：过滤、包装、嵌入。
3. 特征转换：数学变换优化特征性能，如数值标准化、类别编码。

二、特征提取

特征提取（Feature Extraction）是什么？特征提取是从原始数据中创建新的特征，如时间戳的日期部分、文本数据的词频-逆文档频率（TF-IDF）等。

特征提取的方法有哪些？特征特征提取的方法包括统计特征计算（如均值、标准差等）、文本特征统计（如词频、n-gram、词嵌入）、以及图像特征检测（如边缘、角点、区域特征）等，旨在从原始数据中挖掘出有价值的特征信息。

1. 统计特征：从数据中计算统计量，如均值、标准差、最大值、最小值等。
2. 文本特征：

• 词频统计：使用词袋模型（Bag of Words）或TF-IDF等方法统计文本中单词的频率。
• n-gram模型：将文本分割成n个连续的词语片段，以捕捉词语之间的局部语义信息。
• 词嵌入：使用预训练的词向量模型（如Word2Vec、GloVe）将词语映射为低维稠密向量。

3. 图像特征：

• 边缘检测：提取图像中的边缘信息，如Canny边缘检测算法。
• 角点检测：识别图像中的角点，如Harris角点检测算法。
• 区域特征：提取图像中特定区域的信息，如SIFT（尺度不变特征变换）、SURF（加速稳健特征）等。
  

三、特征选择

特征选择（Feature Selection）是什么？特征选择是指从已有的M个特征中选择N个特征，使得系统的特定指标最优化。

特征选择的方法有哪些？过滤式特征选择（Filter Methods）、包裹式特征选择（Wrapper Methods）、嵌入式特征选择（Embedded Methods）

1. 过滤式特征选择：在训练前基于特征评估指标（如信息增益）选择排名靠前的特征，计算简单但可能忽略与学习器的兼容性。
2. 包裹式特征选择：将特征选择与学习器训练相结合，以学习器性能为直接评价标准，精确但计算复杂。
3. 嵌入式特征选择：在训练过程中通过正则化或模型参数自动选择特征，平衡了计算效率和与学习器的兼容性。

四、特征转换

特征转换（Feature Transformation）是什么？特征转换是对原始特征数据进行某种形式的转换或修改，以便在模型训练过程中更好地捕捉数据的内在结构和模式。

特征转换的方法有哪些？特征编码、数值型特征转换、文本数据转换为数值型数据、特征标准化与归一化。

1. 特征编码：将原始特征转换为模型可识别的格式，如One-Hot编码将离散特征转为二进制向量。
2. 数值型特征转换：对数值型特征进行处理，如处理缺失值、异常值，或进行对数、倒数转换等，以改善数据分布或模型性能。
3. 文本数据转换为数值型数据：将文本数据通过分词、哑编码等方法转换为数值型特征，以便机器学习模型处理。
4. 特征标准化与归一化：调整数值型特征的尺度或分布，使其具有相同的尺度或范围，有助于提高模型的训练效率和性能。

本文转载自公众号架构师带你玩转AI 作者：AllenTang

原文链接：​​https://mp.weixin.qq.com/s/yrL53WuZ_ilarImo3Tyt0A​​