大数据知识合集之预处理方法

数据预处理方法主要有： 数据清洗、数据集成、数据规约和数据变换。

1、数据清洗

数据清洗(data cleaning) ：是通过填补缺失值、光滑噪声数据，平滑或删除离群点，纠正数据的不一致来达到清洗的目的。

1. 缺失值处理

实际开发获取信息和数据的过程中，会存在各类的原因导致数据丢失和空缺。针对这些缺失值的处理方法，主要是基于变量的分布特性和变量的重要性采用不同的方法。主要分为以下几种：

删除变量： 若变量的缺失率较高（大于80%），覆盖率较低，且重要性较低，可以直接将变量删除；

统计量填充： 若缺失率较低（小于95%）且重要性较低，则根据数据分布的情况用基本统计量填充（最大值、最小值、均值、中位数、众数）进行填充；

插值法填充： 包括随机插值、多重差补法、热平台插补、拉格朗日插值、牛顿插值等；

模型填充： 使用回归、贝叶斯、随机森林、决策树等模型对缺失数据进行预测；

哑变量（虚拟变量）填充： 若变量是离散型，且不同值较少，可转换成哑变量（通常取值0或1）；

总结来看，常用的做法是：先用Python中的pandas.isnull.sum() 检测出变量的缺失比例，考虑删除或者填充，若需要填充的变量是连续型，一般采用均值法和随机差值进行填充，若变量是离散型，通常采用中位数或哑变量进行填充。

2. 噪声处理

噪声（noise） 是被测量变量的随机误差或方差，是观测点和真实点之间的误差。

通常的处理办法：

分箱法： 对数据进行分箱操作，等频或等宽分箱，然后用每个箱的平均数，中位数或者边界值（不同数据分布，处理方法不同）代替箱中所有的数，起到平滑数据的作用；

回归法： 建立该变量和预测变量的回归模型，根据回归系数和预测变量，反解出自变量的近似值。

3. 离群点处理

异常值（离群点）是数据分布的常态，处于特定分布区域或范围之外的数据通常被定义为异常或噪声。异常分为两种：

l “伪异常”，由于特定的业务运营动作产生，是正常反应业务的状态，而不是数据本身的异常；

l “真异常”，不是由于特定的业务运营动作产生，而是数据本身分布异常，即离群点。

主要有以下检测离群点的方法：

简单统计分析：根据箱线图、各分位点判断是否存在异常，例如Python中pandas的describe函数可以快速发现异常值。

基于绝对离差中位数（MAD）：这是一种稳健对抗离群数据的距离值方法，采用计算各观测值与平均值的距离总和的方法。放大了离群值的影响。

基于距离： 通过定义对象之间的临近性度量，根据距离判断异常对象是否远离其他对象，缺点是计算复杂度较高，不适用于大数据集和存在不同密度区域的数据集

基于密度： 离群点的局部密度显著低于大部分近邻点，适用于非均匀的数据集

基于聚类： 利用聚类算法，丢弃远离其他簇的小簇。

4. 不一致数据处理

实际数据生产过程中，由于一些人为因素或者其他原因，记录的数据可能存在不一致的情况，需要对这些不一致数据在分析前需要进行清理。例如，数据输入时的错误可通过和原始记录对比进行更正，知识工程工具也可以用来检测违反规则的数据。

数据清洗是一项繁重的任务，需要根据数据的准确性、完整性、一致性、时效性、可信性和解释性来考察数据，从而得到标准的、干净的、连续的数据。

2、数据集成

多个数据源集成时会遇到的问题：实体识别问题、冗余问题、数据值的冲突和处理。

1. 实体识别问题

匹配来自多个不同信息源的现实世界实体，数据分析者或计算机如何将两个不同数据库中的不同字段名指向同一实体，通常会通过数据库或数据仓库中的元数据（关于数据的数据）来解决这个问题，避免模式集成时产生的错误。

2. 冗余问题

如果一个属性能由另一个或另一组属性“导出”，则此属性可能是冗余的。属性或维度命名的不一致也可能导致数据集中的冗余。 常用的冗余相关分析方法有皮尔逊积距系数、卡方检验、数值属性的协方差等。

3. 数据值的冲突和处理

不同数据源，在统一合并时，保持规范化，去重。

3、数据规约

随着数据量的增加，基于传统的数据分析变得非常耗时和复杂，往往使得分析不可行。数据归约技术是用来得到数据集的规约表示，在接近或保持原始数据完整性的同时将数据集规模大大减小。对规约后的数据集分析将更有效，并可产生几乎相同的分析结果。常见方法有：维度规约、维度变换、数值规约等。

1. 维度规约

用于数据分析的数据可能包含数以百计的属性，其中大部分属性与挖掘任务不相关，是冗余的。维度归约通过删除不相关的属性，来减少数据量，并保证信息的损失最小。

属性子集选择： 目标是找出最小属性集，使得数据类的概率分布尽可能地接近使用所有属性的原分布。在压缩的属性集上挖掘还有其它的优点，它减少了出现在发现模式上的属性的数目，使得模式更易于理解。

单变量重要性： 分析单变量和目标变量的相关性，删除预测能力较低的变量。这种方法不同于属性子集选择，通常从统计学和信息的角度去分析。

如，通过pearson相关系数和卡方检验，分析目标变量和单变量的相关性。

2. 维度变换

维度变换是将现有数据降低到更小的维度，尽量保证数据信息的完整性，提高实践中建模的效率。

若维度变换后的数据只能重新构造原始数据的近似表示，则该维度变换是有损的，若可以构造出原始数据而不丢失任何信息，则是无损的。常见有损维度变换方法：主成分分析、因子分析、奇异值分解、聚类、线性组合。

主成分分析（PCA）和因子分析（FA）： PCA通过空间映射的方式，将当前维度映射到更低的维度，使得每个变量在新空间的方差最大。FA则是找到当前特征向量的公因子（维度更小），用公因子的线性组合来描述当前的特征向量。

奇异值分解（SVD）： SVD的降维可解释性较低，且计算量比PCA大，一般用在稀疏矩阵上降维，例如图片压缩，推荐系统。

聚类： 将某一类具有相似性的特征聚到单个变量，从而大大降低维度。

线性组合： 将多个变量做线性回归，根据每个变量的表决系数，赋予变量权重，可将该类变量根据权重组合成一个变量。

3. 数值规约

数值规约通过选择替代的数据表示形式来减少数据量。即用较小的数据表示替换或估计数据。

数值规约技术可以是有参的，也可以是无参的。如参数模型（只需要存放模型参数，而不是实际数据）或非参数方法，如聚类、抽样和直方图。

4、数据变换

数据变换包括对数据进行规范化，离散化，稀疏化处理，达到适用于挖掘的目的。

1. 规范化处理

数据中不同特征的量纲可能不一致，数值间的差别可能很大，不进行处理可能会影响到数据分析的结果，因此，需要对数据按照一定比例进行缩放，使之落在一个特定的区域，如[-1，1]区间，或[0，1]区间，便于进行综合分析。

2. 离散化处理

数据离散化是指将连续的数据进行分段，使其变为一段段离散化的区间。分段的原则有基于等距离、等频率或优化的方法。

3. 稀疏化处理

针对离散型且标称变量，无法进行有序的LabelEncoder时，通常考虑将变量做0，1哑变量的稀疏化处理，稀疏化处理既有利于模型快速收敛，又能提升模型的抗噪能力。

文章来源：网络 版权归原作者所有

上文内容不用于商业目的，如涉及知识产权问题，请权利人联系小编，我们将立即处理