Python NumPy常用统计函数详解:均值、方差与标准差

叶初
叶初
发布时间:2026-11-19 | 18人浏览过
原创

详细讲解 Python NumPy 中均值(mean)、方差(var)与标准差(std)的计算原理、核心参数 axis 与 ddof 的实际用法,以及高维数组统计计算与数据清洗注意事项。

在数据分析与科学计算中,均值(Mean)、方差(Variance)与标准差(Standard Deviation)是最基础也是使用最频繁的描述性统计指标。NumPy 提供了高性能的内置函数 np.mean()、np.var() 和 np.std(),能够以向量化方式秒级处理多维数组数据。本文将系统拆解这三个核心函数的数学原理、代码实现,并重点剖析多维计算中至关重要的维度参数 axis 与统计学自由度参数 ddof 的正确用法。

指标定义与三者之间的内在关系

理解这三项指标的逻辑关联,是写出正确代码的前提。均值衡量的是数据的“中心位置”;方差衡量的是各个样本点与均值之间偏离程度的平方平均值;而标准差则是方差的算术平方根,其量纲与原始数据保持完全一致,因而更直观。

Python NumPy常用统计函数详解:均值、方差与标准差
图 1:均值、方差与标准差的计算依赖链路

核心统计函数的快速上手与基础调用

在 Python 中使用 NumPy 计算一维数据的均值、方差和标准差非常直观。我们构建一个包含简单整数的数组来观察输出结果:

import numpy as np

# 构建一组测试数据
data = np.array([10, 20, 30, 40, 50])

# 1. 计算均值
mean_val = np.mean(data)

# 2. 计算方差
var_val = np.var(data)

# 3. 计算标准差
std_val = np.std(data)

print("均值 (Mean):", mean_val)
print("方差 (Variance):", var_val)
print("标准差 (Std):", std_val)

示例输出:

均值 (Mean): 30.0
方差 (Variance): 200.0
标准差 (Std): 14.142135623730951

代码中的计算过程与数学定义吻合:各项与均值 30 的离差分别为 -20, -10, 0, 10, 20,离差平方和为 400 + 100 + 0 + 100 + 400 = 1000,除以样本数量 5 得到总体方差 200.0,开根号得到标准差约 14.14。

关键参数之一:axis 沿轴统计的计算机制

在二维及更高维度的矩阵运算中,若不指定 axis 参数,NumPy 会默认将矩阵展平(flatten)为一维向量,并返回全局单一统计值。如果需要按行或按列分别统计,就必须明确指定 axis:

  • axis=None(默认):所有元素参与计算,返回标量。
  • axis=0:沿第 0 轴(纵向跨行压缩)进行聚合,计算每一列的统计值。
  • axis=1:沿第 1 轴(横向跨列压缩)进行聚合,计算每一行的统计值。
Python NumPy常用统计函数详解:均值、方差与标准差
图 2:二维矩阵在不同 axis 参数下的轴向聚合示意

下面通过具体代码演示二维矩阵中不同 axis 参数的具体行为:

matrix = np.array([
    [10, 20, 30],
    [40, 50, 60]
])

# 默认全局计算
print("全局均值:", np.mean(matrix))

# 沿轴 0 计算(按列取均值)
col_mean = np.mean(matrix, axis=0)
print("每列均值 (axis=0):", col_mean)

# 沿轴 1 计算(按行取均值)
row_mean = np.mean(matrix, axis=1)
print("每行均值 (axis=1):", row_mean)

示例输出:

全局均值: 35.0
每列均值 (axis=0): [25. 35. 45.]
每行均值 (axis=1): [20. 50.]

关键参数之二:ddof 与样本统计无偏估计

在方差与标准差计算中,ddof(Delta Degrees of Freedom,自由度偏移量)是一个极易被忽视但至关重要的参数。数学上的除数是 N - ddof:

  • 总体方差与总体标准差(默认设置):ddof=0,除数为 N。NumPy 默认假设传入的数据即为全部总体数据。
  • 样本方差与样本标准差(无偏估计):ddof=1,除数为 N - 1(贝塞尔校正 Bessel's correction)。在实际统计学中,当数据是从总体中抽样取得时,必须使用 ddof=1 才能获得无偏方差。
Python NumPy常用统计函数详解:均值、方差与标准差
图 3:总体统计与样本统计参数差异对比

注意对比 Pandas 与 NumPy:NumPy 的 np.std() 默认 ddof=0,而 Pandas 中 df['col'].std() 默认 ddof=1。若混合使用两个库进行对账核验,务必显式指定 ddof 参数,避免产生计算差异。

samples = np.array([4.0, 5.0, 6.0, 7.0, 8.0])

# 总体方差 (N = 5)
pop_var = np.var(samples, ddof=0)

# 样本方差 (N - 1 = 4)
sample_var = np.var(samples, ddof=1)

print("总体方差 (ddof=0):", pop_var)
print("样本方差 (ddof=1):", sample_var)
print("总体标准差 (ddof=0):", np.std(samples, ddof=0))
print("样本标准差 (ddof=1):", np.std(samples, ddof=1))

示例输出:

总体方差 (ddof=0): 2.0
样本方差 (ddof=1): 2.5
总体标准差 (ddof=0): 1.4142135623730951
样本标准差 (ddof=1): 1.5811388300841898

综合实战步骤与缺失值安全排查

在实际工程场景中,处理真实数据时通常需要遵循一套严谨的推导与排查流水线:包含数据校验、缺失值排除、统计量计算以及广播归一化操作。当数据中包含 NaN(缺失值)时,标准函数 np.mean 会直接传播并返回 nan,此时应切换为安全函数 np.nanmean、np.nanvar 和 np.nanstd。

Python NumPy常用统计函数详解:均值、方差与标准差
图 4:工程化统计计算流水线与标准化实战步骤

以下代码演示在含有缺失值的数据集中安全计算均值与标准差,并实施 Z-Score 标准化:

import numpy as np

# 含有缺失值的数据矩阵
raw_data = np.array([
    [10.0, np.nan, 30.0],
    [40.0, 50.0, 60.0],
    [70.0, 80.0, 90.0]
])

# 1. 忽略缺失值计算列均值
safe_mean = np.nanmean(raw_data, axis=0)

# 2. 忽略缺失值计算样本标准差
safe_std = np.nanstd(raw_data, axis=0, ddof=1)

print("安全列均值 (nanmean):", safe_mean)
print("安全样本列标准差 (nanstd):", safe_std)

# 3. 标准化示例 (以无缺失值的完整子集为例)
clean_data = np.array([
    [10.0, 20.0, 30.0],
    [40.0, 50.0, 60.0],
    [70.0, 80.0, 90.0]
])

mu = np.mean(clean_data, axis=0, keepdims=True)
sigma = np.std(clean_data, axis=0, keepdims=True)

# 广播计算标准化数值
standardized = (clean_data - mu) / sigma
print("标准化后各列均值:", np.mean(standardized, axis=0))
print("标准化后各列标准差:", np.std(standardized, axis=0))

示例输出:

安全列均值 (nanmean): [40. 65. 60.]
安全样本列标准差 (nanstd): [30.         21.21320344 30.        ]
标准化后各列均值: [0. 0. 0.]
标准化后各列标准差: [1. 1. 1.]

核心要点总结

  • 函数对应关系:均值使用 np.mean(),方差使用 np.var(),标准差使用 np.std()。
  • 轴向规则:二维矩阵中 axis=0 跨行统计各列指标,axis=1 跨列统计各行指标。
  • 无偏估计选择:总体统计直接采用默认 ddof=0;抽样数据推断总体需显式声明 ddof=1。
  • 容错与广播:遇 NaN 优先使用 nanmean、nanvar、nanstd;多维矩阵后续进行减除运算时,配合 keepdims=True 可直接利用广播机制。
相关专题:

本站声明

本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。

Python 相关产品和应用

全部下载

专题列表