Python数据清洗核心流程：从缺失值处理到标准化实战

明确目标与准备环境

数据清洗的核心目标是消除脏数据对分析的干扰。操作前建议备份原始文件，所有导出操作均关闭默认索引（index=False）以防生成多余列。确保已安装基础环境：pip install pandas scikit-learn。

第1步：导入与导出数据源

将外部表格载入内存并进行结构化转换是预处理起点。以下代码覆盖主流格式交互：

import pandas as pd

# 读取不同格式源文件
df = pd.read_csv('data.csv')
df_excel = pd.read_excel('data.xlsx', sheet_name='Sheet1')
df_json = pd.read_json('data.json')

# 保存清洗后结果（避免保留行索引导致后续分析错位）
df.to_csv('output_clean.csv', index=False)
df.to_excel('output_clean.xlsx', sheet_name='Sheet1', index=False)
df.to_json('output_clean.json', orient='records', lines=True)

第2步：检测与填充缺失值

缺失数据会破坏统计分布。首先定位空位，再根据业务逻辑选择删除或插补策略。注意：method='ffill' 在新版 pandas 中已逐步被 .ffill() 替代，此处以现代语法为例：

# 排查缺失情况
print(df.isnull().sum())  # 查看各列空值数量
print(df.isnull().values.any())  # 布尔值判断整体是否存在空值

# 删除策略：移除含空值的整行，或仅当全列为空时移除
df_drop = df.dropna(subset=['score'])  # 指定列有空即删

# 插补策略：向前或向后填充有效值
df_filled = df.fillna(method='ffill')  # 前向填充
df_filled = df.fillna(method='bfill')  # 后向填充

第3步：清除重复记录

重复采集会导致权重虚高。直接过滤即可，默认保留首次出现的记录：

# 定位完全重复的行
duplicates = df[df.duplicated()]
if len(duplicates) > 0:
    print(f"发现 {len(duplicates)} 条重复数据")

# 执行去重
df_unique = df.drop_duplicates(subset=['id'], keep='first')

第4步：转换数据类型与文本规范

原始数据常伴随格式错误。统一类型可防止运算报错，文本清洗则用于去除噪声：

# 强类型转换：errors='coerce' 可将无法解析的日期转为 NaT
df['age'] = df['age'].astype(int)
df['date'] = pd.to_datetime(df['date'], errors='coerce')

# 文本字段标准化
text_col = 'title'
df[text_col] = df[text_col].str.strip()  # 去除首尾空白符
df[text_col] = df[text_col].str.replace(r'[^a-zA-Z0-9\s]', '', regex=True)  # 仅保留字母数字
df[text_col] = df[text_col].str.lower()  # 统一小写

第5步：识别异常值并完成量纲统一

极端离群点会扭曲均值与方差。利用四分位距（IQR）过滤，并对数值特征进行 Min-Max 缩放至 [0,1] 区间：

# 提取数值列计算 IQR
numeric_cols = df.select_dtypes(include='number').columns
Q1 = df[numeric_cols].quantile(0.25)
Q3 = df[numeric_cols].quantile(0.75)
IQR = Q3 - Q1

# 剔除超出 1.5*IQR 范围的样本行
clean_df = df[~((df[numeric_cols] < (Q1 - 1.5 * IQR)) | (df[numeric_cols] > (Q3 + 1.5 * IQR))).any(axis=1)]

# 特征归一化
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
clean_df['salary_norm'] = scaler.fit_transform(clean_df[['salary']]).reshape(-1)

第6步：分组统计与连续变量分箱

聚合指标与区间标签常用于降维与特征工程：

# 按作者维度求均价
grouped_stats = df.groupby('author')['price'].mean()
print(grouped_stats)

# 价格分箱：左闭右开区间映射为低中高类别
bins = [0, 10, 20, 10000]  # 按需调整阈值
labels = ['低消费', '中消费', '高消费']
clean_df['level'] = pd.cut(clean_df['price'], bins=bins, labels=labels, right=False)

完成状态判断与排错指引

清洗结束后通过 df.shape 核对样本量变化，用 df.dtypes 确认类型匹配，最后复查 df.isnull().sum() 确认目标列无残留空值。若运行时报错 DtypeWarning，通常因 CSV 存在非统一列宽，可显式传入 dtype 参数强制定义；若遇到版本弃用警告，请将旧版链式调用替换为单对象方法（如 df.ffill() ）。涉及覆盖原文件的操作务必提前 cp 备份。

总结

通过 pandas 内置函数与 sklearn 预处理模块的组合，可系统化完成数据清洗流程。合理运用去重、插补、IQR 过滤与归一化，能显著降低噪声干扰，为后续建模提供稳定输入。以上就是Python数据清洗核心流程与实战代码的详细内容，更多关于Python数据预处理与特征工程的资料请关注本站其它相关文章！