Python数据分析实战案例:从数据清洗到可视化的完整流程演示

何川
何川
发布时间:2026-11-16 | 7人浏览过
原创

通过真实电商交易数据案例,详细演示从数据探索、清洗规整、聚合统计到图表可视化的Python数据分析完整实战流程。

在日常数据工作中,真实业务数据很少能拿来直接建模或画图。原始导出的表格通常伴随着字段类型不匹配、异常字符干扰、缺失值以及重复记录等问题。本文通过一份模拟但具备典型业务缺陷的电商零售交易数据集,完整演示在 Python 环境下从数据加载、质量探查、数据清洗、多维统计聚合到最终图表呈现的闭环流程,帮助读者掌握标准化的数据处理逻辑。

一、数据分析全流程概述

一套规范的数据分析工作流通常包含四个核心阶段:首先是数据的读入与结构探索,确认字段基本概况;其次是数据清洗与类型规范化,解决缺失、乱码与格式错误;随后依据业务问题进行切片、分组与聚合运算;最后将提炼出的指标通过图表直观输出。各环节承前启后,清洗质量直接决定了后续统计结果的准确性。

Python数据分析实战案例:从数据清洗到可视化的完整流程演示
图 1:Python 数据分析四阶段标准作业链路

二、环境配置与构建实战数据源

演示使用的基础依赖库为 pandas、numpy 与 matplotlib。在终端中可通过 pip install pandas numpy matplotlib 完成安装。

为了完整展现真实场景中的清洗难点,我们直接构造包含以下典型缺陷的电商订单样本:

  • 价格字段混有货币符号 $ 与多余空格,导致被误识别为字符串(object 类型);
  • 日期格式不统一,存在类似 2023/10/01 与 2023-10-02 的混用;
  • 购买数量字段包含缺失值(NaN);
  • 包含完全一致的重复行记录。
import pandas as pd
import numpy as np

# 构造模拟原始交易数据
raw_data = {
    'order_id': ['ORD_101', 'ORD_102', 'ORD_103', 'ORD_104', 'ORD_105', 'ORD_105', 'ORD_106'],
    'order_date': ['2023-11-01', '2023/11/01', '2023-11-02', '2023-11-03', '2023-11-03', '2023-11-03', '2023-11-04'],
    'category': ['数码配件', '办公文具', '数码配件', '日用百货', '办公文具', '办公文具', '数码配件'],
    'unit_price': ['$ 129.50', '$ 15.00', ' $ 299.00 ', '$ 45.20', '$ 89.00', '$ 89.00', '$ 150.00'],
    'quantity': [2.0, 10.0, np.nan, 3.0, 5.0, 5.0, 1.0]
}

df = pd.DataFrame(raw_data)
print("=== 原始数据预览 ===")
print(df)
print("\n=== 数据类型与缺失统计 ===")
print(df.info())

打印结果会显示 unit_price 为 object 类型,无法直接进行求和或均值计算;quantity 只有 6 条非空记录;同时 ORD_105 存在重复记录。这些都是数据进入分析计算前必须规整的目标。

三、核心环节:数据清洗与规整实战

数据清洗不是单一的删除操作,而需要根据业务特性在“直接剔除”与“合理填补/转换”之间做出选择。例如,对于数值型缺失,若随意删除会导致样本量缩减并引入选择性偏差;而若错误填补则会虚构指标。

Python数据分析实战案例:从数据清洗到可视化的完整流程演示
图 2:数据清洗核心策略与处理前后状态对照

1. 重复项核查与清除

首先调用 drop_duplicates() 清除多余的重复订单行。若仅依据部分字段判断重复,可指定 subset=['order_id'] 参数。

# 移除完全重复记录
df_cleaned = df.drop_duplicates().copy()

2. 字符串符号清理与数值转换

对 unit_price 列,使用 str.replace 将货币符号 $ 和多余空格清除,随后通过 astype(float) 转换为可计算的浮点数值类型:

# 清理货币符号并转为浮点型
df_cleaned['unit_price'] = df_cleaned['unit_price'].astype(str).str.replace('$', '', regex=False).str.strip().astype(float)

3. 日期时间规范化

通过 pd.to_datetime() 将混杂格式的日期文本解析为标准的 datetime64[ns]。该函数能自适应斜杠与短横线分隔符,便于后续按日、周、月做时间维度的切分与提取。

# 统一转换为标准日期对象
df_cleaned['order_date'] = pd.to_datetime(df_cleaned['order_date'])

4. 缺失值处理对比:填补 vs 剔除

面对缺失值主要有两种策略:直接剔除(dropna)与数值填补(fillna)。二者的选择需遵循严谨的业务边界:

  • 直接剔除:适合核心业务主键缺失或样本体量极大、缺失极少的场景。缺点是会损失整行关联信息。
  • 统计值填补:针对连续变量通常采用中位数(median)或均值(mean)。在偏态分布中,中位数比均值更具抗干扰能力。在本例中,零售订单通常有最小起购量,缺失可填补为 1.0 或该品类中位数。
# 填补数量列缺失值为 1.0(业务保底件数),并计算总金额
df_cleaned['quantity'] = df_cleaned['quantity'].fillna(1.0)
df_cleaned['total_amount'] = df_cleaned['unit_price'] * df_cleaned['quantity']

print("=== 清洗后的干净数据 ===")
print(df_cleaned[['order_id', 'order_date', 'category', 'unit_price', 'quantity', 'total_amount']])
避坑提醒:清洗过程中尽量避免链式赋值(如 df['col'][mask] = val),这容易触发 Pandas 的 SettingWithCopyWarning。推荐统一使用 .loc[row_indexer, col_indexer] 或显式使用 .copy() 创建副本。

四、多维聚合与业务指标分析

数据完成规整后,即可进行指标计算与分组统计。最常见的需求是按商品品类统计营业额、销量均值与客单价,以及按时间序列洞察增长节奏。

Python数据分析实战案例:从数据清洗到可视化的完整流程演示
图 3:多维分组聚合与衍生指标计算架构

利用 agg 进行多指标组合计算

在 Pandas 中,groupby 结合 agg 能够一次性计算多个统计量。计算完毕后,建议调用 reset_index() 将分组索引平铺回标准列,方便后续传递至绘图模块。

# 按品类汇总指标
category_summary = df_cleaned.groupby('category').agg(
    total_sales=('total_amount', 'sum'),
    total_qty=('quantity', 'sum'),
    order_count=('order_id', 'count')
).reset_index()

# 衍生指标:品类均单价值
category_summary['avg_order_value'] = (
    category_summary['total_sales'] / category_summary['order_count']
).round(2)

print("=== 品类汇总统计表 ===")
print(category_summary)

五、结果呈现:图表可视化实战

得到汇总数据后,可以通过 matplotlib.pyplot 进行图表可视化。绘图时需特别注意中文字符显示配置,避免出现中文乱码(显示为方框)的问题。

import matplotlib.pyplot as plt

# 配置中文字体与负号正常显示
plt.rcParams['font.sans-serif'] = ['PingFang SC', 'Microsoft YaHei', 'SimHei', 'sans-serif']
plt.rcParams['axes.unicode_minus'] = False

# 创建画布与子图
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(12, 5))

# 子图 1:各品类销售总额柱状图
bars = ax1.bar(category_summary['category'], category_summary['total_sales'], color='#687D8D', width=0.5)
ax1.set_title('各商品品类总销售额对比', fontsize=13, pad=12)
ax1.set_xlabel('商品品类')
ax1.set_ylabel('销售额 (元)')
ax1.grid(axis='y', linestyle='--', alpha=0.5)

# 在柱状图上方标注具体数值
for bar in bars:
    height = bar.get_height()
    ax1.annotate(f'{height:.1f}',
                 xy=(bar.get_x() + bar.get_width() / 2, height),
                 xytext=(0, 3), textcoords="offset points",
                 ha='center', va='bottom', fontsize=10)

# 子图 2:每日销售趋势折线图
daily_trend = df_cleaned.groupby('order_date')['total_amount'].sum().reset_index()
ax2.plot(daily_trend['order_date'].dt.strftime('%m-%d'), daily_trend['total_amount'], 
         marker='o', color='#879B88', linewidth=2, markersize=6)
ax2.set_title('每日销售总额走势', fontsize=13, pad=12)
ax2.set_xlabel('交易日期')
ax2.set_ylabel('销售额 (元)')
ax2.grid(True, linestyle='--', alpha=0.5)

plt.tight_layout()
plt.show()

在生成的双图结构中,左侧柱状图直观反映了“数码配件”属于高额营收的核心支撑类目;右侧折线图展示了订单在 11 月 1 日至 11 月 4 日期间的动态起伏,为经营复盘提供了直观依据。

六、全流程关键要点总结

回顾从数据读入到可视化的全流程,每个环节都有其关键操作准则与防错要点:

Python数据分析实战案例:从数据清洗到可视化的完整流程演示
图 4:Python 数据分析全流程核心要点总结卡片

七、常见问题排查与注意事项

  1. 为什么使用 pd.to_datetime 后依然无法按时间索引筛选?
    解析日期列后,它仍然是 DataFrame 的普通列。如果需要使用类似 df['2023-11'] 的时间范围切片功能,必须通过 df.set_index('order_date') 将其设置为行索引(DatetimeIndex)。
  2. 如何避免多重索引(MultiIndex)带来的列名访问繁琐?
    在使用 agg({'total_amount': ['sum', 'mean']}) 时会生成层级列名。可以通过扁平化命名语法(如 agg(sales_sum=('total_amount', 'sum')))直接在聚合时定义扁平列名,使代码保持清爽易维护。
  3. 数据量较大时,Pandas 运算速度变慢如何优化?
    优先使用 Pandas 自带的向量化运算(Vectorized Operations),尽量避免使用 for 循环或 iterrows() 遍历行。对于极其庞大的数据集,可适当优化字段的数据类型(例如将 64 位浮点转换为 32 位,或将低基数字符串转换为 category 类型)。

本站声明

本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。

Python 相关产品和应用

全部下载

专题列表