Python实现数据清洗的常用方法与进阶实操

何川

发布时间：2026-10-11 | 1人浏览过

原创

数据清洗是数据分析与建模的前置核心环节。本文系统梳理Python处理字符串、数值、日期及缺失值的18种高效方法，覆盖基础语法与一键式技巧，并结合正则提取、Pandas批量操作、异常捕获与函数封装等进阶流程，提供可直接复用的代码模板与排错指引。

数据清洗核心目标与准备条件

数据清洗的主要目标是消除脏数据（如空值、异常格式、重复项），统一数据结构，使其满足后续分析或模型输入要求。操作前需明确原始数据的存储格式（文本文件、CSV、数据库导出件等），并备份原始数据以防清洗逻辑误改底层记录。

基础数据类型清洗的18种实操方法

以下为Python原生特性支持的轻量级清洗手段，适用于内存较小的数据集或预处理前的格式规整。

第1步：去除字符串首尾空白字符

目的：统一文本字段边界，避免因隐藏空格导致匹配失败。
入口/动作：使用内置strip()方法。

data = "   Hello World!   "
cleaned_data = data.strip()

第2步：转换数据类型

目的：将符合数值规范的字符串转为整数或浮点数，以便参与计算。
注意：需提前校验源数据是否全为有效数字，否则触发ValueError。

num_str = "123"
num_int = int(num_str)

第3步：统一大小写格式

目的：消除大小写差异对分组、合并或去重的干扰。
入口/动作：lower()转小写，upper()转大写。

text = "Python is Awesome"
lower_text = text.lower()
upper_text = text.upper()

第4步：移除列表中的重复元素

目的：基于集合唯一性快速去重。
注意：此操作会重置原列表索引顺序，若需保留首次出现顺序需改用dict.fromkeys()或pandas.Series.drop_duplicates()。

my_list = [1, 2, 2, 3, 4, 4]
unique_list = list(set(my_list))

第5步：快速统计元素出现频次

目的：获取数据分布重心，识别高频噪声或核心特征。
入口/动作：调用collections.Counter。

from collections import Counter
data = ['apple', 'banana', 'apple', 'orange']
counts = dict(Counter(data))

第6步：字符串分割成序列

目的：将连续文本拆解为独立单元，便于逐词处理。
入口/动作：split()默认按空白符切分，也可指定分隔符。

sentence = "Hello world"
words = sentence.split(" ")

第7步：合并多个列表

目的：整合分散在同层级结构中的数据。

list1 = [1, 2, 3]
list2 = [4, 5, 6]
merged_list = list1 + list2

第8步：扩展/填充列表

目的：快速生成固定长度的占位结构或重复模板。

my_list = [1, 2]
filled_list = my_list * 3

第9步：解析日期时间字符串

目的：将非结构化文本转为可调用的datetime对象，支持时间跨度计算。
参数：格式符号如%Y-%m-%d需与源字符串严格对应。

from datetime import datetime
date_str = "2023-04-01"
date_obj = datetime.strptime(date_str, "%Y-%m-%d")

第10步：全局替换文本片段

目的：修正命名不一致或拼写错误。

old_string = "Python is fun."
new_string = old_string.replace("fun", "awesome")

第11步：数据排序

目的：按升序或降序排列数值/字符串。
参数：reverse=True开启降序。

numbers = [5, 2, 9, 1, 5]
sorted_numbers = sorted(numbers)

第12步：提取纯数字字符

目的：剥离文本中的字母与标点，仅保留数值部分。

mixed_str = "The year is 2023"
nums = ''.join(filter(str.isdigit, mixed_str))

第13步：剔除空值（None/Null）

目的：保持数据结构紧凑。
技巧：列表推导式配合is not None判空。

data_list = [None, 1, 2, None, 3]
filtered_list = [x for x in data_list if x is not None]

第14步：互换字典键值对

目的：反转映射关系，便于反向查询。

my_dict = {"key1": "value1", "key2": "value2"}
swapped_dict = {v: k for k, v in my_dict.items()}

第15步：计算算术平均值

目的：快速获取集中趋势指标。

numbers = [10, 20, 30, 40]
average = sum(numbers) / len(numbers)

第16步：定长切分字符串

目的：按固定步长截取片段，适用于编码规则拆分或网格划分。

s = "abcdef"
grouped = [s[i:i+2] for i in range(0, len(s), 2)]

第17步：数据标准化（Z-Score）

目的：消除量纲差异，使数据符合标准正态分布，适用于机器学习特征缩放。前提：需安装NumPy库。

import numpy as np
data = np.array([1, 2, 3])
normalized_data = (data - data.mean()) / data.std()

第18步：基于条件过滤数据

目的：精准提取符合业务规则的子集。

data = [1, 2, 3, 4, 5]
even_numbers = [x for x in data if x % 2 == 0]

进阶实践与工程化流程

当单条命令无法应对混合脏数据或百万级规模时，需引入正则引擎、专业库与容错架构。

第1步：使用正则表达式提取复杂模式

目的：从非结构化文本中精准抓取邮箱、电话、URL等固定格式标识。
动作：re.findall()返回所有匹配项列表。

import re
text = "Email: example@email.com Phone: 123-456-7890"
emails = re.findall(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b', text)
phones = re.findall(r'\b\d{3}-\d{3}-\d{4}\b', text)

第2步：利用Pandas进行批量数据处理

目的：替代循环，向量化执行表格型清洗任务。
注意：列名'column_name'需与实际CSV/Excel表头一致。

import pandas as pd
df = pd.read_csv('data.csv')
# 删除含有任意缺失值的行
df_clean = df.dropna()
# 替换特定值
df['column_name'] = df['column_name'].replace('old_value', 'new_value')

第3步：编写容错逻辑与记录日志

目的：保障长脚本运行稳定性，避免单点报错中断流水线。
动作：包裹try-except，通过logging输出上下文。

import logging
logging.basicConfig(level=logging.INFO)
try:
    result = some_function_that_might_fail()
    logging.info(f"成功执行！结果：{result}")
except Exception as e:
    logging.error(f"执行失败：{e}")

第4步：封装函数以支持批量复用

目的：将清洗逻辑模块化，降低耦合度，方便单元测试与团队协作。

def clean_phone(phone):
    """移除电话号码中的非数字字符"""
    return ''.join(c for c in phone if c.isdigit())

phone_numbers = ['123-456-7890', '(555) 555-5555']
cleaned_numbers = [clean_phone(phone) for phone in phone_numbers]