方差 思维导图
中心主题：方差
（图片来源网络，侵删）
核心概念
- 定义
- 统计学定义: 各个数据与平均值之差的平方和的平均数。
- 直观理解: 数据点偏离其中心（平均值）的平均程度。
- 公式:
- 总体方差: $\sigma^2 = \frac{1}{N}\sum_{i=1}^{N}(x_i - \mu)^2$
- $N$: 总体数据个数
- $\mu$: 总体均值
- 样本方差: $s^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})2$
- $n$: 样本数据个数
- $\bar{x}$: 样本均值
- 关键点: 分母是
n-1（贝塞尔校正），用于更好地估计总体方差。
- 总体方差: $\sigma^2 = \frac{1}{N}\sum_{i=1}^{N}(x_i - \mu)^2$
- 单位
- 原始数据单位的平方（数据单位是米，方差单位是平方米）。
- 这使得方差在解释数据离散程度时不如标准方差直观。
主要特性
- 非负性
- 方差值永远大于或等于零 ($\sigma^2 \ge 0$)。
- 当且仅当所有数据点都相等时,方差为零。
- 平移不变性
- 给所有数据加上一个常数,方差不变。
- 数据 {1, 2, 3} 和 {11, 12, 13} 的方差相同。
- 单位缩放
- 将所有数据乘以一个常数 $k$，方差会变为原来的 $k^2$ 倍。
- 数据 {1, 2, 3} 的方差是 $\frac{2}{3}$，数据 {2, 4, 6} 的方差是 $\frac{8}{3}$ ($= 4 \times \frac{2}{3}$)。
计算方法
- 基本定义法
按照定义公式计算：先求均值，再求每个数据与均值之差，然后平方，最后求平均。
- 简化计算公式
- $\sigma^2 = \frac{1}{N}\sum_{i=1}^{N}x_i^2 - \mu^2$
- 优点: 在某些情况下可以减少计算量，避免先求均值再求差的繁琐步骤。
- 分组数据法
- 当数据被分组时,使用每组的组中值作为代表值进行计算。
- 公式: $\sigma^2 = \frac{\sum_{i=1}^{k}f_i(mi - \bar{x})^2}{\sum{i=1}^{k}f_i}$
- $k$: 组数
- $f_i$: 第 $i$ 组的频数
- $m_i$: 第 $i$ 组的组中值
相关概念
- 标准差
- 定义: 方差的平方根。
- 符号: 总体标准差 $\sigma$，样本标准差 $s$。
- 与方差的关系: $\sigma = \sqrt{\sigma^2}$。
- 与方差的关键区别: 单位与原始数据相同，因此更直观、更常用于描述数据的离散程度。
- 平均绝对偏差
- 定义: 各个数据与平均值之差的绝对值的平均数。
- 公式: $MAD = \frac{1}{n}\sum_{i=1}^{n}|x_i - \bar{x}|$。
- 与方差比较:
- 优点: 对异常值不敏感，解释更直观（平均偏离了多少）。
- 缺点: 数学性质不如方差优良（在优化问题中求导更困难）。
- 极差
- 定义: 数据集中最大值与最小值之差。
- 优点: 计算最简单。
- 缺点: 只利用了两个数据点，极易受异常值影响，无法反映数据的整体分布情况。
应用领域
- 统计学与数据分析
- 描述数据分布: 判断数据是紧密聚集还是分散分布。
- 假设检验: 如 t-检验、F-检验的核心统计量。
- 方差分析: 比较多个组别均值是否存在显著差异。
- 金融学
- 风险评估: 方差或标准差是衡量资产风险（波动性）的核心指标，方差越大，价格波动越剧烈，风险越高。
- 投资组合管理: 通过计算不同资产收益的方差和协方差，构建最优投资组合以分散风险。
- 机器学习与人工智能
- 模型评估: 在回归问题中，均方误差 就是预测误差的方差。
- 决策树算法: 在构建决策树时，用于选择最优的切分特征（如 CART 算法使用基尼不纯度或方差）。
- 聚类算法: 在 K-Means 算法中，通过最小化簇内数据点到其中心点的方差来优化聚类结果。
- 质量控制
- 六西格玛管理: 通过控制生产过程中关键指标的方差，来减少产品缺陷，提高质量稳定性。
- 过程能力分析: 判断生产过程是否满足规格要求。
优缺点
- 优点
- 数学性质优良: 在概率论和统计学中具有很好的数学特性，便于进行理论推导和计算。
- 充分利用所有数据: 考虑了数据集中的每一个点。
- 对大偏差敏感: 能有效放大远离中心的异常值，有助于发现数据中的问题。
- 缺点
- 单位问题: 单位是原始单位的平方，解释性不如标准差直观。
- 对异常值敏感: 由于平方运算，个别极端值会对方差产生不成比例的巨大影响。
- 计算相对复杂: 相比极差和平均绝对偏差，计算步骤更多。
图示化
- 散点图
- 方差小: 数据点紧密地聚集在平均值线附近。
- 方差大: 数据点在平均值线附近分布得非常分散。
- 直方图/密度图
- 方差小: 图形瘦高，数据集中在均值附近。
- 方差大: 图形矮胖，数据分布范围广。
（图片来源网络，侵删）
