机器学习 习 中的数据预处理和降维

机器习和数据结构算法首先要解决的是降维。

降维在机器习中是必要的，原因如下：

降维提高了计算效率。 降维有助于通过减少特征数量来避免过度拟合，从而限制模型的复杂性。

处理维度灾难：随着维度数量的增加，训练模型所需的数据量实际上呈指数级增长。 这被称为“维度灾难”。

降维有助于降低数据的维数，从而更容易训练模型并避免维度灾难。

高维数据的可视化可能具有挑战性，因为很难在 2D 或 3D 视图上显示多个维度。 降维技术，如PCA或T-SNE，可以帮助将数据的维数降低到较低的数字，从而更容易可视化和理解数据点之间的关系。 PCA是一项古老的技术，但T-SNE被视为用于可视化高维数据的最先进的技术。

列归一化和列矢量化是机器 习 中常用的两种数据预处理技术。

列标准化：这里将数据压缩成一个单位立方体正方形，并消除了存储数据时使用的刻度。 将特征缩放到公共区域，以确保机器 习 模型中的所有特征权重相等。 防止具有较大值的特征主导模型的输出。

它将处理该特征，使其进入范围介于 [0,1] 之间的通用比例，而不考虑特征的单个比例。

通过确保要素位于单位超立方方中，提高基于距离的算法（如 k-nn 和 SVM）的性能。 为某些机器习算法（如神经网络）准备数据，这些算法在规范化输入特征时性能更好。

列矢量化：也称为均值居中。 该过程将处理在任何给定轴上均值为 = 0 且标准差为 1 的要素，无论其分布如何。

将分类数据转换为可通过机器习算法处理的数值格式。

通过将高维稀疏数据（如文本数据）转换为向量格式来降低其维数。

为某些需要数字输入特征的机器习算法（如朴素贝叶斯）准备数据。

通过降低处理分类数据的计算复杂度，提高某些机器习算法的性能，例如随机森林和梯度助推器。