了解统计学中不同类型的分布

目录

一、说明

二、均匀分布：

三、机器学习和数据科学中的均匀分布示例：

3.1 对数正态分布：

3.2 机器学习和数据科学中的对数正态分布示例：

四、 帕累托分布

4.1 什么是幂律？

4.2 机器学习和数据科学中的帕累托分布示例：

4.3 伯努利分布：

4.4 机器学习和数据科学中的伯努利分布示例：

4.5. 二项分布：

4.6 机器学习和数据科学中的二项分布示例：

五、概率分布变换：

5.1. 统计假设

5.2. 提高算法性能

5.3. 稳定方差

5.4. 减少偏斜

5.5 实现常态的常见转换

---

一、说明

        统计学是理解数据的有力工具，其核心在于分布的概念。统计学中的分布有助于我们理解数据的分布方式，为各种数据集的概率和行为提供重要的见解。从熟悉的钟形曲线的正态分布到其他偏斜和重尾模式，本博客旨在解开不同类型的分布，清楚地了解它们在统计分析中的特征、应用和意义。

二、均匀分布：

        均匀分布是一种概率分布，其中所有结果在给定范围内的可能性相同。这意味着，如果要从此范围中选择一个随机值，则任何值都与任何其他值一样可能。例如，从一篮子苹果中随机选择的苹果的重量在 100 到 200 克之间，将遵循连续的均匀分布。

骰子结果的离散均匀分布

连续均匀分布的概率密度函数为：

均匀分布的CDF由下式给出：

                                                        均匀分布图中不存在偏度。

三、机器学习和数据科学中的均匀分布示例：

1. 随机初始化：在许多机器学习算法中，例如神经网络和 k 均值聚类，参数的初始值可能会对最终结果产生重大影响。均匀分布通常用于随机初始化参数，因为它可以确保范围内的所有值都具有相等的选择
   概率。
2. 采样：均匀分布也可用于采样。例如，如果数据集中每个类的样本数相等，则可以使用均匀分布随机选择代表所有类的数据子集。
3. 数据增强：在某些情况下，您可能希望通过生成与原始数据相似的新示例来人为地增加数据集的大小。均匀分布可用于生成原始数据指定范围内的新数据点。
4. 超参数优化：均匀分布也可用于超参数优化，在超参数优化中，您需要为机器学习模型搜索超参数的最佳组合。通过为每个超参数定义均匀的先验分布，可以从分布中采样以探索超参数空间。

3.1 对数正态分布：

        在概率论和统计学中，对数正态分布是对数呈正态分布的随机变量的重尾连续概率分布，即，如果取每个值的自然对数并绘制此分布，则得到正态分布。 对数正态的PDF方程由下式给出：

        这种分布是右偏的，因为它倾向于在右侧产生更长的尾部，这意味着大多数数据点集中在左侧，少数较大的值延伸到右侧。

        对数正态的概率分布

对数正态的累积分布

3.2 机器学习和数据科学中的对数正态分布示例：

• 在 Internet 论坛中发布的评论长度遵循对数正态分布。
• 用户在在线文章（笑话、新闻等）上的停留时间遵循对数正态分布。
• 国际象棋比赛的长度往往遵循对数正态分布。
  在经济学中，有证据表明 97%-99% 的人口的收入是按对数正态分布的。

四、 帕累托分布

        帕累托分布是一种概率分布，通常用于模拟财富、收入和其他表现出类似幂律行为的量的分布。

4.1 什么是幂律？

        在数学中，幂律是两个变量之间的函数关系，其中一个变量与另一个变量的幂成正比。具体来说，如果 y 和 x 是幂律相关的两个变量，则关系可以写为：
y = k * x^a

帕累托分布的概率分布

        维尔弗雷多·帕累托（Vilfredo Pareto）最初使用这种分布来描述个人之间的财富分配，因为它似乎很好地表明了任何社会财富的很大一部分由该社会中较小比例的人拥有的方式。他还用它来描述收入分配。这个想法有时更简单地表达为帕累托原则或“80-20规则”，即20%的人口控制着80%的财富。

4.2 机器学习和数据科学中的帕累托分布示例：

• 人类住区的规模（少数城市，/村庄）。
• 使用 TCP 协议的 Internet 流量的文件大小分布（许多较小的文件，少数较大的文件）

4.3 伯努利分布：

        伯努利分布是一种对二元结果进行建模的概率分布，其中结果可以是成功（由值 1 表示）或失败（由值 0 表示）。伯努利分布的特征是单个参数，即成功概率，用 p 表示。

4.4 机器学习和数据科学中的伯努利分布示例：

        伯努利分布通常用于机器学习中，用于对二元结果进行建模，例如客户是否会购买，电子邮件是否为垃圾邮件，或者患者是否患有某种疾病。

4.5. 二项分布：

        二项分布是一种概率分布，它描述了在固定数量的独立伯努利试验中的成功次数，该试验具有两种可能的结果（通常称为“成功”和“失败”），其中每个试验的成功概率是恒定的。二项分布由两个参数表征：试验次数 n 和成功概率 p。

4.6 机器学习和数据科学中的二项分布示例：

1. 模型精度：在测试预测电子邮件是否为垃圾邮件的机器学习模型时，可能会运行它 100 次。每次，您都会检查它是否正确（成功）或不正确（失败）。二项分布可帮助您了解在给定一定准确率的情况下，模型可能正确预测的次数为 100 次。
2. A/B 测试：在 A/B 测试中，您可以比较某些内容的两个版本（例如网站或广告），看看哪个版本效果更好。通过二项分布，您可以根据一定的成功概率来估计一个版本更成功的频率，例如获得更多点击或转化。

五、概率分布变换：

        在分布方面，变换是指将数学函数应用于数据以改变其底层分布的过程。分布描述了数据如何分布在一系列值中，转换用于实现各种目标，包括修改分布的形状、比例或分布。

        当您需要使用假定正态分布的算法时，变换在统计学和机器学习中可能至关重要。许多统计方法和机器学习算法在数据遵循正态分布时表现最佳，这要归功于对称性、定义的均值和标准差以及一致的分布等特性。

        以下是应用转换使数据更正态分布的一些原因：

5.1. 统计假设

        统计检验（如 t 检验、方差分析和许多回归模型）假定基础数据或残差（误差）呈正态分布。当数据不符合此假设时，结果可能会有偏见或具有误导性。转换有助于确保数据符合这些假设。

5.2. 提高算法性能

        机器学习算法，特别是线性回归和逻辑回归，在数据或残差呈正态分布时可能表现更好。这是因为这些算法所依据的假设与正态性密切相关。通过转换使数据分布更均匀，可以提高算法的预测准确性并减少偏差。

5.3. 稳定方差

        当数据具有不稳定的方差（异方差）时，可能会导致建模错误，并降低期望一致方差的算法的有效性。转换有助于稳定方差，使其在不同范围的数据中更加恒定。

5.4. 减少偏斜

        有偏差的数据可能导致不准确的结论，并使结果的解释复杂化。期望对称数据的算法在偏斜输入时可能表现不佳。对数转换等转换可以减少偏度，使数据更接近正态分布。

5.5 实现常态的常见转换

        以下是一些用于使数据更正态分布的常见转换：

• 日志转换：通过采用自然对数来转换数据，从而减少正偏度。对于具有指数增长或长右尾的数据很有用。

我在泰坦尼克号数据集上详细应用了日志转换。你可以从这里学习代码和概念！

• 平方根变换：通过取平方根来转换数据以减少偏度，通常用于计数数据或方差随均值增加的数据。
• Box-Cox 变换：一种灵活的电源转换，可以将一系列非正态数据转换为更正态分布。它需要非负数据，并确定最佳功率变换参数 （λ） 以实现正态性。它可以在数学上表示为：

学习代码，你可以从这里学习代码和概念！

• 相互转化：涉及采用倒数 （1/x） 来转换数据，从而减少正偏度。

         希望这篇博客能加深你对统计学中不同概率分布的理解。如果您发现此内容的价值，请考虑关注我以获取更有见地的帖子。谢谢！感谢您花时间阅读本文。