Python数据处理基础:使用Pandas读取与清洗简单数据

月亮慢半拍
月亮慢半拍
发布时间:2026-11-20 | 14人浏览过
原创

面向Python初学者的Pandas数据处理实用指南,详细讲解如何读取CSV与Excel表格、探查数据质量,并实战处理缺失值、重复项、格式异常与类型转换,完成规范化的数据清洗。

在数据分析与自动化处理工作中,原始数据往往充满空值、重复记录、格式混乱与类型错位。Pandas作为Python生态中最核心的结构化数据处理库,提供了极为高效的表格抽象(DataFrame)与系列清洗接口。本文通过一个包含典型质量缺陷的真实样例,依次讲解环境准备、文件读取、质量探查、缺失值与重复项清洗、类型转换及规范导出的完整操作闭环,帮助初学者建立标准的数据处理流程。

Python数据处理基础:使用Pandas读取与清洗简单数据
图 1:使用 Pandas 读取与清洗结构化数据的全流程阶段划分

一、准备环境与构建样例数据

在开始编写代码前,需确保已安装Pandas库。若需要处理Excel文件(.xlsx),还需安装openpyxl解析引擎。在系统终端执行如下命令:

pip install pandas openpyxl

为了直观展示清洗步骤,我们构建一份典型的原始订单表格文件 raw_orders.csv。该文件故意包含了实际场景中高频出现的几类脏数据:

  • 缺失值:部分记录缺少金额(Amount)或用户ID(UserID)。
  • 重复行:由于网络重试或数据合并导致的完全重复记录。
  • 格式混乱:产品名称(ProductName)前后存在多余空格、大小写混用。
  • 类型不符:下单日期(OrderDate)为纯文本字符串,金额字段包含美元符号无法直接进行数学计算。
# 创建本地演示数据 raw_orders.csv
csv_content = """OrderID,UserID,ProductName,Amount,OrderDate
1001,U01, iPhone 14 ,$799.00,2023-10-01
1002,U02,MacBook Air,$1199.50,2023/10/02
1003,, iPad Pro ,$899.00,2023-10-03
1004,U03,iphone 14,$799.00,2023-10-04
1001,U01, iPhone 14 ,$799.00,2023-10-01
1005,U04,AirPods Pro,,2023-10-05
1006,U05, WATCH Ultra ,$799.00,not_a_date
"""

with open("raw_orders.csv", "w", encoding="utf-8") as f:
    f.write(csv_content.strip())

二、使用 Pandas 读取数据并理解二维结构

Pandas读取外部表格最常用的函数是 pd.read_csv() 与 pd.read_excel()。读取后,数据在内存中被映射为 DataFrame 对象。DataFrame是具有行索引(Index)与列名称(Columns)的二维表格结构,其中的每一列均为一个 Series。

import pandas as pd

# 读取 CSV 文件
df = pd.read_csv("raw_orders.csv")

# 查看前 5 行数据
print(df.head())
示例运行输出
OrderID UserID ProductName Amount OrderDate 0 1001 U01 iPhone 14 $799.00 2023-10-01 1 1002 U02 MacBook Air $1199.50 2023/10/02 2 1003 NaN iPad Pro $899.00 2023-10-03 3 1004 U03 iphone 14 $799.00 2023-10-04 4 1001 U01 iPhone 14 $799.00 2023-10-01
Python数据处理基础:使用Pandas读取与清洗简单数据
图 2:CSV 文本解析为 DataFrame 的行索引、列名及缺失标识体系

三、探查数据质量与结构缺陷

拿到数据后的首要任务是全面诊断,而不是盲目处理。Pandas提供了三组快速探查工具,分别用于核验维度、字段类型与缺失统计。

# 1. 检查数据行数与列数
print("数据维度 (行, 列):", df.shape)

# 2. 查看各列非空统计与推断的数据类型
print("\n--- 字段基础信息 ---")
df.info()

# 3. 统计各列的缺失值 (NaN) 数量
print("\n--- 缺失值统计 ---")
print(df.isnull().sum())
示例运行输出
数据维度 (行, 列): (7, 5) --- 字段基础信息 --- <class 'pandas.core.frame.DataFrame'> RangeIndex: 7 entries, 0 to 6 Data columns (total 5 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 OrderID 7 non-null int64 1 UserID 6 non-null object 2 ProductName 7 non-null object 3 Amount 6 non-null object 4 OrderDate 7 non-null object dtypes: int64(1), object(4) memory usage: 408.0+ bytes --- 缺失值统计 --- OrderID 0 UserID 1 ProductName 0 Amount 1 OrderDate 0 dtype: int64

通过探查可以发现三个问题:

  1. UserID 与 Amount 均存在 1 处空值(显示为 NaN)。
  2. Amount 本应为数值,但因为带有美元符号 $,被判定为 object(即字符串)。
  3. OrderDate 同样是 object,尚未解析为标准日期类型。

四、关键数据清洗实战

1. 重复值的检测与剔除

真实业务中,相同订单被重复录入会导致统计指标失真。Pandas使用 duplicated() 标记重复行,使用 drop_duplicates() 予以剔除。

# 检查是否存在全行完全相同的重复记录
print("完全重复行数量:", df.duplicated().sum())

# 剔除重复行,保留第一次出现的记录
df_cleaned = df.drop_duplicates(keep='first').copy()
print("剔除重复后行数:", len(df_cleaned))
示例运行输出
完全重复行数量: 1 剔除重复后行数: 6

2. 缺失值(NaN)的识别与处理

处理缺失值通常有两种策略:直接删除含有空值的行,或用合理默认值/统计值予以填充。这取决于字段对于业务的重要程度。

  • 必须保留核心主键:若关键识别字段(如 UserID)缺失且无法反查,可使用 dropna(subset=['UserID']) 剔除。
  • 金额与数值字段:若不能删除记录,可使用固定默认值(如 0.0)或均值进行填充 fillna()。
# 策略 A:剔除 UserID 缺失的无效订单
df_cleaned = df_cleaned.dropna(subset=['UserID']).copy()

# 策略 B:若 Amount 缺失,填充默认占位值 '$0.00',避免后续解析报错
df_cleaned['Amount'] = df_cleaned['Amount'].fillna('$0.00')

print("处理缺失值后剩余行数:", len(df_cleaned))

3. 字符串规范化清洗

由于手工录入或系统拼接,文本经常带有不可见的制表符或前后空格。同时,大小写混用会导致同一款产品被视作不同类别(如 "iPhone 14" 与 "iphone 14")。通过 .str 访问器可以对文本列进行批量清洗:

# 去除产品名称首尾空格,并统一转换为大写标题格式
df_cleaned['ProductName'] = df_cleaned['ProductName'].str.strip().str.title()

print(df_cleaned[['OrderID', 'ProductName']])
示例运行输出
OrderID ProductName 0 1001 Iphone 14 1 1002 Macbook Air 3 1004 Iphone 14 5 1005 Airpods Pro 6 1006 Watch Ultra

4. 数据类型规范化转换

将 Amount 列中的货币符号 $ 剔除,并转换为浮点数 float;将日期列转换为规范的 datetime64 类型,对于无法识别的非法日期标记为缺失。

# 1. 清洗 Amount:剔除 $ 符号并转换为 float
df_cleaned['Amount'] = df_cleaned['Amount'].str.replace('$', '', regex=False).astype(float)

# 2. 清洗 OrderDate:转换为标准日期格式,非法字符串转换为 NaT
df_cleaned['OrderDate'] = pd.to_datetime(df_cleaned['OrderDate'], errors='coerce')

# 3. 剔除无法解析日期的脏数据行
df_cleaned = df_cleaned.dropna(subset=['OrderDate']).copy()

print(df_cleaned.dtypes)
示例运行输出
OrderID int64 UserID object ProductName object Amount float64 OrderDate datetime64[ns] dtype: object
Python数据处理基础:使用Pandas读取与清洗简单数据
图 3:四类典型数据质量缺陷的清洗前后对比与转换逻辑

五、校验清洗成果与导出存储

完成所有清洗动作后,需对数据进行最终验收,并重置自增索引(Index),随后写入干净的文件中。

# 1. 重置行索引,drop=True 表示不将旧索引保留为独立列
df_final = df_cleaned.reset_index(drop=True)

# 2. 打印最终干净数据
print("--- 最终清洗数据集 ---")
print(df_final)

# 3. 导出为新 CSV 文件,注意必须指定 index=False
df_final.to_csv("cleaned_orders.csv", index=False, encoding="utf-8")
print("\n清洗数据已成功导出为 cleaned_orders.csv")
示例运行输出
--- 最终清洗数据集 --- OrderID UserID ProductName Amount OrderDate 0 1001 U01 Iphone 14 799.0 2023-10-01 1 1002 U02 Macbook Air 1199.5 2023-10-02 2 1004 U03 Iphone 14 799.0 2023-10-04 3 1005 U04 Airpods Pro 0.0 2023-10-05 清洗数据已成功导出为 cleaned_orders.csv
注意事项:关于导出时的 index=False 参数
Pandas默认会在导出时将DataFrame的行号索引写入第一列(无列名)。如果再次读取该文件,会导致多出一列未命名索引(如 Unnamed: 0)。因此在导出CSV时,通常应显式声明 index=False。

六、高频操作决策路径与方法总结

在面对未知质量的表格数据时,可以依据下述决策路径快速选用对应的Pandas API方法,形成系统化的清洗策略:

Python数据处理基础:使用Pandas读取与清洗简单数据
图 4:Pandas 数据清洗高频操作场景的 API 决策速查指南

掌握了读取、探查、去重、补缺、格式转换与导出这套核心链条后,便具备了处理绝大多数中小型表格数据的能力。在后续深入学习中,可以进一步探索基于条件的布尔索引筛选、分组聚合计算(groupby)与多表关联(merge),逐步构建出更强大的自动化数据处理管道。

相关专题:

本站声明

本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。

Python 相关产品和应用

全部下载

专题列表